作者ponponjerry (ponpon)
看板DataScience
標題[徵求] 解釋深度學習原理易懂的文章
時間Tue Jun 12 20:36:46 2018
以下是廢話跟前言：
小弟是某大大三數學系，OR期末報告做有關深度學習的題目，我使用Keras最簡單的全線
相
連4層感知器模型，其中用到reLU、sigmoid、binary-crossentropy，最後很順利的打完
程式碼了。
但是老師要求我們需要解釋所用到的演算法和深度學習的數學原理，因為能力、時間有限
，找過許多論文，也翻過deep learning那本原文書，卻還是不解其中奧妙。
以下重點：
故希望板上大大能提供我一些簡單易懂的paper或文章，感激不盡。
——————————————————————
板友提供的資訊：
1. Michael Nielsen
http://neuralnetworksanddeeplearning.com/
2. 李宏毅老師
http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18
3. 吳尚鴻老師
http://www.cs.nthu.edu.tw/~shwu/
4. 兩本可參考原文書
(1)
http://web.stanford.edu/~hastie/ElemStatLearn
(2)
https://www.deeplearningbook.org/
5. 我自己找到頗簡單的文章
https://www.ycc.idv.tw/ml-course-techniques_6.html
6. 林軒田老師(coursera)
https://zh-tw.coursera.org/learn/ntumlone-mathematicalfoundations
感謝各位版友熱情的幫忙！！
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.56.188
※ 文章網址: https://webptt.com/m.aspx?n=bbs/DataScience/M.1528807009.A.E12.html
※ 編輯: ponponjerry (140.119.134.145), 06/12/2018 20:40:58
1F：→ yoyololicon: 要不要找ML相關的書籍試試 只看類神經網路的部份就好06/12 22:11
2F：→ yoyololicon: deep learning那本的數學推導很工程師寫法06/12 22:12
3F：→ yoyololicon: 又一堆字 我也不是看很懂= =
謝謝建議，我再翻翻看ML的書看有沒有符合老師需求的
4F：推 championship: 那就換簡單一點的有convex性質的模型，就可以有很多06/12 22:36
5F：→ championship: 數學性質可以講
不考慮換模型…我不想重打程式，而且組員應該會崩潰
6F：推 proton: 去找台大李宏毅老師的上課教材來看06/12 23:00
感恩，有稍微看過，「一天學會深度學習」前面有幾頁投影片蠻符合我想找的東西
※ 編輯: ponponjerry (140.119.134.145), 06/12/2018 23:18:06
※ 編輯: ponponjerry (140.119.134.145), 06/12/2018 23:20:07
7F：→ Mchord: 演算法最重要就backpropagation，深度學習用universal fun06/13 00:52
8F：→ Mchord: ction approximator看待它就好，特殊結構如convolution或l06/13 00:52
9F：→ Mchord: stm等才比較容易有物理意義去說明06/13 00:52
感恩，我之前大略看過backpropagation的演算法，看來得深入瞭解了！
10F：→ f496328mm: 李宏毅老師 youtube 上有完整的影片06/13 10:05
11F：→ f496328mm: 還有林軒田 看完很有幫助06/13 10:05
14F：→ f496328mm: 上面是 DL 的電子書 應該可以找到你要的章節06/13 10:08
感謝提供！我再看看李宏毅老師相關的教學好了, DL那本我個人覺得幫助沒很大…
15F：推 tsoahans: 李老師這學期的MLDS前面三章都講理論可以看看06/13 11:03
感恩，目前覺得李宏毅老師的教材好像是最好懂的了！
※ 編輯: ponponjerry (140.119.122.6), 06/13/2018 13:03:59
17F：推 sma1033: 推一個清大吳尚鴻，他有些教材講得比李宏毅清楚06/13 13:14
稍微看了一下，覺得level蠻高的，感覺比較適合以後研讀XD 不過還是感謝你的提供！
19F：推 OnePiecePR: 李宏毅+1。sigmoid、crossentropy 都很輕鬆推出來06/13 17:11
※ 編輯: ponponjerry (140.119.121.6), 06/13/2018 22:37:50
20F：→ goldflower: 直接抄純python寫n-layer nn的code抄一次你就會了 06/14 03:32
21F：→ goldflower: github上一狗票給你學06/14 03:32
22F：→ goldflower: 吳尚鴻之前我都直接看他的ipynb 他講得我覺得還好@@06/14 03:33
我想你會錯意了…如果這位仁兄打完code，數學原理推導也會了，那也只能跪了
※ 編輯: ponponjerry (140.119.122.6), 06/14/2018 08:40:43
23F：推 goldflower: 你在那call dense就以為是打完code當然不會啊XD06/14 15:51
24F：推 goldflower: 不過李宏毅的確這邊超詳細的 應該沒比他更簡單的了06/14 15:54
了解！如果等我那樣打完code，大概就明年再來了XD
※ 編輯: ponponjerry (140.119.134.145), 06/14/2018 16:03:08
25F：→ tsoahans: cs231的作業也蠻推薦的 寫完大概就能自己實做出DL框架 06/14 16:08
26F：推 tsoahans: 吳尚鴻的數學講得比較深入 他連最佳化、PAC、NFL都有講 06/14 16:19
我個人是對這個領域蠻有興趣的，以後基本功強一點再好好研究他的教材XD，感謝你詳細
的介紹！
27F：推 f496328mm: 樓上是 PCA 吧 06/14 20:47
※ 編輯: ponponjerry (140.119.134.145), 06/15/2018 00:23:22
28F：→ ykjiang: 抱書回來啃吧06/15 00:22
29F：→ tsoahans: 我講的是PAC learning06/15 04:23
30F：→ tsoahans: 這是探討model的Generalization能力的一個理論，主要探 06/15 04:27
31F：→ tsoahans: 討在data分布未知的情況下，倒底需要sample多少資料才能 06/15 04:28
32F：→ tsoahans: 保證expected loss和empirical loss有很大的機率誤差在 06/15 04:29
33F：→ tsoahans: 抹個範圍內。這個理論主要是在1980年代發展的，主要貢獻06/15 04:30
34F：→ tsoahans: 者Leslie Valiant因此理論獲得Turing Award06/15 04:32
35F：→ tsoahans: 後面的VC Theory也是在PAC的框架下繼續發展 06/15 04:32
36F：→ tsoahans: PAC全名是probably approximately correct 06/15 04:34
37F：推 Luluemiko: 長知識 推 06/15 10:32
38F：推 njru04fm06: 有PAC learning喲06/15 22:36
39F：→ njru04fm06: 很偏數學，跟上面大大說得差不多與PCA是兩個不同的東06/15 22:36
40F：→ njru04fm06: 西06/15 22:36
41F：推 goldflower: PAC我記得田神的課有 但早就忘光...QQ"06/15 23:47
※ 編輯: ponponjerry (219.70.183.56), 06/16/2018 01:03:47
42F：推 booray: 李鴻毅老師的 youtube 看完發現新世界06/16 21:33
44F：→ enhuang: 目前看到比較簡單清楚的教學，有python實作(從底層) 06/18 14:12
謝謝你的提供！！
※ 編輯: ponponjerry (140.119.134.145), 06/19/2018 23:16:11
※ 編輯: ponponjerry (140.119.134.145), 06/19/2018 23:20:48
45F：推 h5904098: 想請教一下PAC 是田神的課裡面提到 hoeffding inequalit 07/25 12:51
46F：→ h5904098: y 相關的東西嗎？ 07/25 12:51
47F：→ tsoahans: 是 08/02 17:59