作者beaprayguy (小羊快跑啊)
看板Soft_Job
標題[請益] deep learning怎麼學習？
時間Sat Jul 29 18:33:28 2017
最近被deepmind的AI震驚
AI最核心部分是deep learning
閱讀文獻得知，deep learning
是透過artificial neural network
透過一層一層neuron堆疊，得到一個output
目前解決方法是找到gradient descent
或者現今有比他更好的方式？
透過和標準答案的loss，取得最低點。
但過多層可能導致Vanishing Gradient
都是最低點，可能要透過調整達成
若想自學要從哪一方面進入，若相關職缺基礎門檻是什麼。
今年30歲，想做一個人工智慧夢。
請問有可能的掛嗎
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 39.9.65.232
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1501324410.A.616.html
1F：推 Kazimir: 如果你英文還可以的話 MOOC有不少 07/29 18:42
2F：推 Kazimir: CS231n很有名 不過我還沒看過所以不太確定對初學者好不好 07/29 18:46
3F：推 cybermeow: 拿個現成的framework來用小學生也會寫deep learning 07/29 19:11
4F：推 NCUking: 當興趣可以 但要當職業就非常難了 07/29 19:13
6F：→ abc0922001: 這個可以先看看 07/29 19:21
7F：推 kyodaisuki: reinforcement learning 07/29 19:28
8F：推 MonkeyCL: 人機大戰的時候，圍棋板很多人在教深度學習 07/29 19:37
9F：推 kingrobber: 沒有數學底子都只能在表面繞 07/29 19:50
10F：→ kingrobber: 我看了三門MOOC之後的感想 07/29 19:51
11F：推 ckp4131025: 要自己弄model 數學要不錯 07/29 20:08
12F：→ ckp4131025: ML AI DL有很多線上課程 07/29 20:08
13F：推 Morphee: 就學深一點阿 你之前學的太淺了 07/29 20:10
14F：推 dddddd67: 博士班簽下去啊 07/29 20:20
15F：推 TERRYB: 真的，資工到後面就是都在算數學.... 07/29 20:27
16F：→ ice80712: 網路上很多Sample code可以先玩一玩 07/29 20:27
17F：推 askia: 先問問自己幾個問題：你數學強嗎？有興趣嗎？ 07/29 20:42
18F：→ askia: 再考慮要不要學。要學表面很快就能上手，要玩深入很難 07/29 20:43
19F：→ askia: 如果你只是跟風的話，等你學會熱潮大概也過了 07/29 20:43
20F：→ Murasaki0110: 數學先弄好 07/29 20:46
21F：推 vu04y94: 本小弟我以前也覺得dl很潮 後來發現玩DL用套件國中生都會 07/29 20:48
22F：→ vu04y94: 甚至比學C++簡單 如果要深入還是數學要好 CS到最後精華 07/29 20:48
23F：→ vu04y94: 還是在數學 07/29 20:48
24F：推 vu04y94: 我認為隨著越來越多非本科的投入 像一些數學背景的大師 07/29 20:50
25F：→ vu04y94: 應該能有更驚人的成長 07/29 20:50
26F：→ eva19452002: 電腦界的大師們同時都有另一個稱號就是數學家 07/29 21:06
27F：推 Sunal: 純數的領域其實很虛無飄渺的..其他領域都只能摸點邊 07/29 21:43
28F：噓 Ommm5566: 是要問幾次 去youtube林軒田 07/29 22:32
29F：→ Mchord: 英文寫作很重要，DL paper特色之一就是唬爛 07/29 22:47
30F：推 paul800526: 把網路上一堆資料丟到你的腦袋裡面training，如果你 07/29 23:27
31F：→ paul800526: 學不會，這就代表你的model建壞了，也就是說，你的neu 07/29 23:27
32F：→ paul800526: ron不夠多，你就知道你不適合了，因為你train壞的問題 07/29 23:27
33F：→ paul800526: 是先天的 07/29 23:27
34F：推 cybermeow: 認真說 DL的paper很多不會DL也看的懂 數學不好沒關係 07/29 23:57
35F：→ cybermeow: 反正結構改一改有不同的構想也能做出新東西 背後數學 07/29 23:57
36F：→ cybermeow: 的理論我覺得主要是stat跟proba (至少ml整體是這樣) 07/29 23:57
37F：→ cybermeow: 然後那些東西感覺主修數學唸到碩博士大概都不一定夠 07/29 23:57
38F：→ cybermeow: 了 07/29 23:57
39F：→ hsnuyi: 套一句某數學大師的話 懂基礎的實分析就可以做研究了 要是 07/30 00:23
40F：→ hsnuyi: 要搞懂過去某個領域用過的所有數學才能開始 那當代人就不 07/30 00:23
41F：→ hsnuyi: 用創新了 07/30 00:23
42F：推 f496328mm: 樓上這樣講還不錯 真的要搞懂 數學系也很多都不懂 07/30 00:38
43F：→ f496328mm: 我們站在巨人的肩膀上就好了 07/30 00:38
44F：→ f496328mm: keras 也是設計的平易近人 07/30 00:39
45F：→ f496328mm: 先有實作經驗 久了就會主動去了解背後的原理 07/30 00:40
46F：推 Telemio: 我也覺得樓上有些人誇大 DL現在這麼火紅其實也是站在巨人 07/30 00:47
47F：→ Telemio: 的肩膀上吧 說數學要多神也還好吧? 很多paper也都著重 07/30 00:47
48F：→ Telemio: 理論創新 但還是比較強調實驗吧 07/30 00:48
49F：→ hsnuyi: 我是說有一定的基礎 就可以開始研究... 07/30 01:10
50F：推 Kazimir: 我真的覺得DL的數學沒有那麼多&難 除非你的目標就是數學 07/30 02:53
51F：→ Kazimir: 舉GANs當例子，如果你打算從數學的角度搞清楚為什麼 07/30 02:54
52F：→ Kazimir: 那會很複雜 到目前為止應該還沒有真的搞清楚 只有定性 07/30 02:55
53F：→ Kazimir: 可是實際上的操作就只是用D多產生一個loss給G而已 07/30 02:56
54F：推 Kazimir: 其他比較多數學的部分是找更好的loss & 找更多正規化手段 07/30 03:03
55F：推 stitchris: XXXXXXXXD 推paul 07/30 03:17
56F：推 Morphee: 不念到實分析是不夠資格做DL的 07/30 03:19
57F：推 steve1012: 其實一堆人跳下去前都沒修過實分析啊xD 07/30 08:21
58F：推 johnny94: 基本上認識真正懂DL 沒有一個人強調數學要多好才可以研 07/30 12:31
59F：→ johnny94: 究的，大概只要有大一的微積分就可以玩了 07/30 12:31
60F：推 zi62007: 三樓說小學生可以玩，又有人說要微基分，好亂啊 07/30 13:08
61F：推 vu04y94: 我是以發paper的角度來看啦 做product當然是另一回事 我 07/30 14:12
62F：→ vu04y94: 覺得那些人不強調數學要很好 是因為他們本身就很強 強到 07/30 14:12
63F：→ vu04y94: 以為大家都會.. 07/30 14:12
64F：推 vu04y94: 不過就像上面說的 都是邊做邊學 不然永遠追不上新的技術 07/30 14:17
65F：→ hsnuyi: 正規化方法很多就是從多變量統計出來的 要亂try也可啊 只 07/30 16:20
66F：→ hsnuyi: 不過無法解釋罷了 上面就看到幾個數學很強的啊 整天掛在嘴 07/30 16:20
67F：→ hsnuyi: 上說數學不重要 是怕人搶出路喔 www 07/30 16:20
68F：→ hsnuyi: 看paper最難的 不是演算法如何重現 而是數學看不懂 不知為 07/30 16:24
69F：→ hsnuyi: 啥要這樣做 07/30 16:24
70F：推 wilson85771: 先把李宏毅老師的課程錄影通通看懂吧 07/30 19:22
71F：推 Kazimir: 一個領域有很多面向 沒有做凝態先去學弦論的道理 07/30 20:51
72F：推 prag222: 真的要有能力也要花好幾年培養吧,培養出來也頂多在本地 07/30 21:44
73F：→ prag222: 在本地又會哭台灣薪水,出去有跟不了別人菁英競爭 除非 07/30 21:44
74F：→ prag222: 你很神~~~ 07/30 21:45
75F：→ red0210: 有人可以舉個幾篇要實分析才看懂的 paper 嗎？ 07/30 21:45
77F：→ cybermeow: anFree.pdf 07/30 22:19
79F：→ cybermeow: 這種應該算有些數學在裡面的 07/30 22:20
80F：→ cybermeow: 然後我自己也沒有詳細讀不要來電我 07/30 22:21
81F：推 meteor260: 玩跟有能力改進, 如何train出好model是兩碼子事啊 07/31 17:11
82F：→ meteor260: 玩確實小學生可以玩啊XD, 要弄到好現在很多領域都還要 07/31 17:12
83F：→ meteor260: 花時間追論文呢 07/31 17:12
84F：→ meteor260: 啥都不懂頂多就加更多層, 然後就Vanishing Gradient 07/31 17:14
85F：→ meteor260: 然後就兩手一攤 07/31 17:14
86F：推 meteor260: 就是個知其然很容易, 知其所以然很難的領域 07/31 17:16
87F：推 BlackMatrix: Vanishing Gradient在目前一般常用的ReLU不會發生 07/31 22:04
88F：→ BlackMatrix: 所以之前版上有個Kaggle冠軍就是Vgg+一千層(?)Dense 07/31 22:05
89F：→ Murasaki0110: 不會發生，那ResNet或今年CVPR的DenseNet是在做啥 07/31 22:09
90F：推 BlackMatrix: 看了一下, 可以在GPU裡面放更大的Model 07/31 22:20
91F：→ BlackMatrix: 通過某種Weights/Bias Sharing 07/31 22:20
92F：推 BlackMatrix: Vanishing Gradient也不會發生 07/31 23:05
93F：推 BlackMatrix: 就如同LSTM/GRU也不會發生Vanishing Gradient 07/31 23:19
94F：推 gachen: Cs231n非常不錯，我各人很推薦。 08/01 15:02
95F：推 jimshadow: 實分析是指高微嗎？ 08/02 16:44
96F：推 leoloveivy: 老實說適不適合就看你寫程式會不會留參數 如果你很喜 08/08 01:03
97F：→ leoloveivy: 歡這些參數可以透過一些方法自動算出來 而不是再那tun 08/08 01:03
98F：→ leoloveivy: e那麼我覺得這樣特質很適合ml ai 08/08 01:03
99F：推 ccmite: 算法 資料 GPU 12/21 11:46