作者rn940111 (自盡比較快)
看板DataScience
標題[討論] ML是不是有些東西不太教？
時間Tue Nov 24 14:28:36 2020
最近在自學前決定比較手上有的各種資源，
因為之前念過ISLR跟一部分的ESL，
這次在開始之前我已經有打算要看某兩本書了，
加上本來就不是做這個，所以也看看不同地方開研究所機器學習的課綱跟線上資源。
大部分的課程當然是多數工具都講過，
少部分課程會go through 一些推導，
但是為什麼幾乎沒觸及像是learnable，VC dimension等，
問念CS PhD的朋友也表示課程沒有提及，
這部分老師沒教/學生上課沒學，是有什麼原因可循嗎？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 172.58.99.239 (美國)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1606199320.A.74C.html
1F：推 j0958322080: 林軒田的我記得有VC Dimension 11/24 14:36
2F：推 jack1218: 林軒田的HTML有教 11/24 14:40
3F：→ rn940111: 我就是在他的課上有看到，且我自己要讀的書也有，但是很 11/24 14:42
4F：→ rn940111: 多課其實是沒有的，不管國內外都是，這件事我比較好奇有 11/24 14:42
5F：→ rn940111: 什麼差別 11/24 14:42
6F：→ hsnuyi: 因為不重要 現在的ML是工程導向 解工程問題就是逐個擊破 11/24 15:50
7F：→ hsnuyi: 發現問題(e.g., 梯度消失)後再想解法就好 11/24 15:50
8F：推 syc0924: 進階一點的理論ML課就會有啦 對一般使用者真的不重要 11/24 18:24
9F：推 wtchen: learnable跟VC dimension需要一些數學才能理解 11/24 19:19
10F：→ rn940111: 以hsunyi提到的概念，是否可以解讀成工程導向就像是直接 11/24 19:35
11F：→ rn940111: 解決應用問題，但是不一定是從底部開始處理，可能ad hoc 11/24 19:35
12F：→ rn940111: 的用了一些東西處理好也可以，除非遇到很系統性的問題？ 11/24 19:35
13F：推 kumitang: 我覺得是看從什麼角度來切入耶 我覺得數學系的比較會教 11/24 20:42
14F：→ kumitang: 到這些（根據我自己的經驗 11/24 20:42
15F：→ hsnuyi: 系統性問題也可以用工程導向解 解完後用大一統模型解釋就 11/24 22:34
16F：→ hsnuyi: 是理論 11/24 22:34
17F：推 VIATOR: VC dimension要花很多時間瞭解，不知道對應用也沒什麼差 11/25 02:08
18F：→ ciman96: 因為不知道那些理論，ml使用者也能套工具 11/25 20:35
19F：推 cplalexandta: 通常要理論ml課才會教那些 而且後來發現VC bound滿 11/28 04:51
20F：→ cplalexandta: 多情況不是很tight 11/28 04:51
21F：推 cplalexandta: 現在比較流行考慮data dependent的bound 像是pac-ba 11/28 04:58
22F：→ cplalexandta: yes或是mutual information 可以從stability的概念 11/28 04:58
23F：→ cplalexandta: 出發來理解 11/28 04:58
24F：→ cplalexandta: 題外話 我覺得communication complexity對VC dimens 11/28 05:02
25F：→ cplalexandta: ion的定義比較直觀 ml用的是組合學的概念反而在高維 11/28 05:02
26F：→ cplalexandta: 的情況很難想像 11/28 05:02
27F：→ cplalexandta: 不過老實說自學的話 尤其是為了工作 import torch可 11/28 05:04
28F：→ cplalexandta: 能比學這些更有用啦... 11/28 05:04
29F：推 agario: VC dimension 不見得能很好解釋 deep learning 的現象吧 01/17 08:58
30F：→ agario: 很多時候反而 over-parametrization 比較好 01/17 08:59