作者ponponjerry (ponpon)
看板DataScience
标题[徵求] 解释深度学习原理易懂的文章
时间Tue Jun 12 20:36:46 2018
以下是废话跟前言：
小弟是某大大三数学系，OR期末报告做有关深度学习的题目，我使用Keras最简单的全线
相
连4层感知器模型，其中用到reLU、sigmoid、binary-crossentropy，最後很顺利的打完
程式码了。
但是老师要求我们需要解释所用到的演算法和深度学习的数学原理，因为能力、时间有限
，找过许多论文，也翻过deep learning那本原文书，却还是不解其中奥妙。
以下重点：
故希望板上大大能提供我一些简单易懂的paper或文章，感激不尽。
——————————————————————
板友提供的资讯：
1. Michael Nielsen
http://neuralnetworksanddeeplearning.com/
2. 李宏毅老师
http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18
3. 吴尚鸿老师
http://www.cs.nthu.edu.tw/~shwu/
4. 两本可参考原文书
(1)
http://web.stanford.edu/~hastie/ElemStatLearn
(2)
https://www.deeplearningbook.org/
5. 我自己找到颇简单的文章
https://www.ycc.idv.tw/ml-course-techniques_6.html
6. 林轩田老师(coursera)
https://zh-tw.coursera.org/learn/ntumlone-mathematicalfoundations
感谢各位版友热情的帮忙！！
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.140.56.188
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/DataScience/M.1528807009.A.E12.html
※ 编辑: ponponjerry (140.119.134.145), 06/12/2018 20:40:58
1F：→ yoyololicon: 要不要找ML相关的书籍试试 只看类神经网路的部份就好06/12 22:11
2F：→ yoyololicon: deep learning那本的数学推导很工程师写法06/12 22:12
3F：→ yoyololicon: 又一堆字 我也不是看很懂= =
谢谢建议，我再翻翻看ML的书看有没有符合老师需求的
4F：推 championship: 那就换简单一点的有convex性质的模型，就可以有很多06/12 22:36
5F：→ championship: 数学性质可以讲
不考虑换模型…我不想重打程式，而且组员应该会崩溃
6F：推 proton: 去找台大李宏毅老师的上课教材来看06/12 23:00
感恩，有稍微看过，「一天学会深度学习」前面有几页投影片蛮符合我想找的东西
※ 编辑: ponponjerry (140.119.134.145), 06/12/2018 23:18:06
※ 编辑: ponponjerry (140.119.134.145), 06/12/2018 23:20:07
7F：→ Mchord: 演算法最重要就backpropagation，深度学习用universal fun06/13 00:52
8F：→ Mchord: ction approximator看待它就好，特殊结构如convolution或l06/13 00:52
9F：→ Mchord: stm等才比较容易有物理意义去说明06/13 00:52
感恩，我之前大略看过backpropagation的演算法，看来得深入了解了！
10F：→ f496328mm: 李宏毅老师 youtube 上有完整的影片06/13 10:05
11F：→ f496328mm: 还有林轩田 看完很有帮助06/13 10:05
14F：→ f496328mm: 上面是 DL 的电子书 应该可以找到你要的章节06/13 10:08
感谢提供！我再看看李宏毅老师相关的教学好了, DL那本我个人觉得帮助没很大…
15F：推 tsoahans: 李老师这学期的MLDS前面三章都讲理论可以看看06/13 11:03
感恩，目前觉得李宏毅老师的教材好像是最好懂的了！
※ 编辑: ponponjerry (140.119.122.6), 06/13/2018 13:03:59
17F：推 sma1033: 推一个清大吴尚鸿，他有些教材讲得比李宏毅清楚06/13 13:14
稍微看了一下，觉得level蛮高的，感觉比较适合以後研读XD 不过还是感谢你的提供！
19F：推 OnePiecePR: 李宏毅+1。sigmoid、crossentropy 都很轻松推出来06/13 17:11
※ 编辑: ponponjerry (140.119.121.6), 06/13/2018 22:37:50
20F：→ goldflower: 直接抄纯python写n-layer nn的code抄一次你就会了 06/14 03:32
21F：→ goldflower: github上一狗票给你学06/14 03:32
22F：→ goldflower: 吴尚鸿之前我都直接看他的ipynb 他讲得我觉得还好@@06/14 03:33
我想你会错意了…如果这位仁兄打完code，数学原理推导也会了，那也只能跪了
※ 编辑: ponponjerry (140.119.122.6), 06/14/2018 08:40:43
23F：推 goldflower: 你在那call dense就以为是打完code当然不会啊XD06/14 15:51
24F：推 goldflower: 不过李宏毅的确这边超详细的 应该没比他更简单的了06/14 15:54
了解！如果等我那样打完code，大概就明年再来了XD
※ 编辑: ponponjerry (140.119.134.145), 06/14/2018 16:03:08
25F：→ tsoahans: cs231的作业也蛮推荐的 写完大概就能自己实做出DL框架 06/14 16:08
26F：推 tsoahans: 吴尚鸿的数学讲得比较深入 他连最佳化、PAC、NFL都有讲 06/14 16:19
我个人是对这个领域蛮有兴趣的，以後基本功强一点再好好研究他的教材XD，感谢你详细
的介绍！
27F：推 f496328mm: 楼上是 PCA 吧 06/14 20:47
※ 编辑: ponponjerry (140.119.134.145), 06/15/2018 00:23:22
28F：→ ykjiang: 抱书回来啃吧06/15 00:22
29F：→ tsoahans: 我讲的是PAC learning06/15 04:23
30F：→ tsoahans: 这是探讨model的Generalization能力的一个理论，主要探 06/15 04:27
31F：→ tsoahans: 讨在data分布未知的情况下，倒底需要sample多少资料才能 06/15 04:28
32F：→ tsoahans: 保证expected loss和empirical loss有很大的机率误差在 06/15 04:29
33F：→ tsoahans: 抹个范围内。这个理论主要是在1980年代发展的，主要贡献06/15 04:30
34F：→ tsoahans: 者Leslie Valiant因此理论获得Turing Award06/15 04:32
35F：→ tsoahans: 後面的VC Theory也是在PAC的框架下继续发展 06/15 04:32
36F：→ tsoahans: PAC全名是probably approximately correct 06/15 04:34
37F：推 Luluemiko: 长知识 推 06/15 10:32
38F：推 njru04fm06: 有PAC learning哟06/15 22:36
39F：→ njru04fm06: 很偏数学，跟上面大大说得差不多与PCA是两个不同的东06/15 22:36
40F：→ njru04fm06: 西06/15 22:36
41F：推 goldflower: PAC我记得田神的课有 但早就忘光...QQ"06/15 23:47
※ 编辑: ponponjerry (219.70.183.56), 06/16/2018 01:03:47
42F：推 booray: 李鸿毅老师的 youtube 看完发现新世界06/16 21:33
44F：→ enhuang: 目前看到比较简单清楚的教学，有python实作(从底层) 06/18 14:12
谢谢你的提供！！
※ 编辑: ponponjerry (140.119.134.145), 06/19/2018 23:16:11
※ 编辑: ponponjerry (140.119.134.145), 06/19/2018 23:20:48
45F：推 h5904098: 想请教一下PAC 是田神的课里面提到 hoeffding inequalit 07/25 12:51
46F：→ h5904098: y 相关的东西吗？ 07/25 12:51
47F：→ tsoahans: 是 08/02 17:59