作者beaprayguy (小羊快跑啊)
看板Soft_Job
标题[请益] deep learning怎麽学习？
时间Sat Jul 29 18:33:28 2017
最近被deepmind的AI震惊
AI最核心部分是deep learning
阅读文献得知，deep learning
是透过artificial neural network
透过一层一层neuron堆叠，得到一个output
目前解决方法是找到gradient descent
或者现今有比他更好的方式？
透过和标准答案的loss，取得最低点。
但过多层可能导致Vanishing Gradient
都是最低点，可能要透过调整达成
若想自学要从哪一方面进入，若相关职缺基础门槛是什麽。
今年30岁，想做一个人工智慧梦。
请问有可能的挂吗
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 39.9.65.232
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1501324410.A.616.html
1F：推 Kazimir: 如果你英文还可以的话 MOOC有不少 07/29 18:42
2F：推 Kazimir: CS231n很有名 不过我还没看过所以不太确定对初学者好不好 07/29 18:46
3F：推 cybermeow: 拿个现成的framework来用小学生也会写deep learning 07/29 19:11
4F：推 NCUking: 当兴趣可以 但要当职业就非常难了 07/29 19:13
6F：→ abc0922001: 这个可以先看看 07/29 19:21
7F：推 kyodaisuki: reinforcement learning 07/29 19:28
8F：推 MonkeyCL: 人机大战的时候，围棋板很多人在教深度学习 07/29 19:37
9F：推 kingrobber: 没有数学底子都只能在表面绕 07/29 19:50
10F：→ kingrobber: 我看了三门MOOC之後的感想 07/29 19:51
11F：推 ckp4131025: 要自己弄model 数学要不错 07/29 20:08
12F：→ ckp4131025: ML AI DL有很多线上课程 07/29 20:08
13F：推 Morphee: 就学深一点阿 你之前学的太浅了 07/29 20:10
14F：推 dddddd67: 博士班签下去啊 07/29 20:20
15F：推 TERRYB: 真的，资工到後面就是都在算数学.... 07/29 20:27
16F：→ ice80712: 网路上很多Sample code可以先玩一玩 07/29 20:27
17F：推 askia: 先问问自己几个问题：你数学强吗？有兴趣吗？ 07/29 20:42
18F：→ askia: 再考虑要不要学。要学表面很快就能上手，要玩深入很难 07/29 20:43
19F：→ askia: 如果你只是跟风的话，等你学会热潮大概也过了 07/29 20:43
20F：→ Murasaki0110: 数学先弄好 07/29 20:46
21F：推 vu04y94: 本小弟我以前也觉得dl很潮 後来发现玩DL用套件国中生都会 07/29 20:48
22F：→ vu04y94: 甚至比学C++简单 如果要深入还是数学要好 CS到最後精华 07/29 20:48
23F：→ vu04y94: 还是在数学 07/29 20:48
24F：推 vu04y94: 我认为随着越来越多非本科的投入 像一些数学背景的大师 07/29 20:50
25F：→ vu04y94: 应该能有更惊人的成长 07/29 20:50
26F：→ eva19452002: 电脑界的大师们同时都有另一个称号就是数学家 07/29 21:06
27F：推 Sunal: 纯数的领域其实很虚无飘渺的..其他领域都只能摸点边 07/29 21:43
28F：嘘 Ommm5566: 是要问几次 去youtube林轩田 07/29 22:32
29F：→ Mchord: 英文写作很重要，DL paper特色之一就是唬烂 07/29 22:47
30F：推 paul800526: 把网路上一堆资料丢到你的脑袋里面training，如果你 07/29 23:27
31F：→ paul800526: 学不会，这就代表你的model建坏了，也就是说，你的neu 07/29 23:27
32F：→ paul800526: ron不够多，你就知道你不适合了，因为你train坏的问题 07/29 23:27
33F：→ paul800526: 是先天的 07/29 23:27
34F：推 cybermeow: 认真说 DL的paper很多不会DL也看的懂 数学不好没关系 07/29 23:57
35F：→ cybermeow: 反正结构改一改有不同的构想也能做出新东西 背後数学 07/29 23:57
36F：→ cybermeow: 的理论我觉得主要是stat跟proba (至少ml整体是这样) 07/29 23:57
37F：→ cybermeow: 然後那些东西感觉主修数学念到硕博士大概都不一定够 07/29 23:57
38F：→ cybermeow: 了 07/29 23:57
39F：→ hsnuyi: 套一句某数学大师的话 懂基础的实分析就可以做研究了 要是 07/30 00:23
40F：→ hsnuyi: 要搞懂过去某个领域用过的所有数学才能开始 那当代人就不 07/30 00:23
41F：→ hsnuyi: 用创新了 07/30 00:23
42F：推 f496328mm: 楼上这样讲还不错 真的要搞懂 数学系也很多都不懂 07/30 00:38
43F：→ f496328mm: 我们站在巨人的肩膀上就好了 07/30 00:38
44F：→ f496328mm: keras 也是设计的平易近人 07/30 00:39
45F：→ f496328mm: 先有实作经验 久了就会主动去了解背後的原理 07/30 00:40
46F：推 Telemio: 我也觉得楼上有些人夸大 DL现在这麽火红其实也是站在巨人 07/30 00:47
47F：→ Telemio: 的肩膀上吧 说数学要多神也还好吧? 很多paper也都着重 07/30 00:47
48F：→ Telemio: 理论创新 但还是比较强调实验吧 07/30 00:48
49F：→ hsnuyi: 我是说有一定的基础 就可以开始研究... 07/30 01:10
50F：推 Kazimir: 我真的觉得DL的数学没有那麽多&难 除非你的目标就是数学 07/30 02:53
51F：→ Kazimir: 举GANs当例子，如果你打算从数学的角度搞清楚为什麽 07/30 02:54
52F：→ Kazimir: 那会很复杂 到目前为止应该还没有真的搞清楚 只有定性 07/30 02:55
53F：→ Kazimir: 可是实际上的操作就只是用D多产生一个loss给G而已 07/30 02:56
54F：推 Kazimir: 其他比较多数学的部分是找更好的loss & 找更多正规化手段 07/30 03:03
55F：推 stitchris: XXXXXXXXD 推paul 07/30 03:17
56F：推 Morphee: 不念到实分析是不够资格做DL的 07/30 03:19
57F：推 steve1012: 其实一堆人跳下去前都没修过实分析啊xD 07/30 08:21
58F：推 johnny94: 基本上认识真正懂DL 没有一个人强调数学要多好才可以研 07/30 12:31
59F：→ johnny94: 究的，大概只要有大一的微积分就可以玩了 07/30 12:31
60F：推 zi62007: 三楼说小学生可以玩，又有人说要微基分，好乱啊 07/30 13:08
61F：推 vu04y94: 我是以发paper的角度来看啦 做product当然是另一回事 我 07/30 14:12
62F：→ vu04y94: 觉得那些人不强调数学要很好 是因为他们本身就很强 强到 07/30 14:12
63F：→ vu04y94: 以为大家都会.. 07/30 14:12
64F：推 vu04y94: 不过就像上面说的 都是边做边学 不然永远追不上新的技术 07/30 14:17
65F：→ hsnuyi: 正规化方法很多就是从多变量统计出来的 要乱try也可啊 只 07/30 16:20
66F：→ hsnuyi: 不过无法解释罢了 上面就看到几个数学很强的啊 整天挂在嘴 07/30 16:20
67F：→ hsnuyi: 上说数学不重要 是怕人抢出路喔 www 07/30 16:20
68F：→ hsnuyi: 看paper最难的 不是演算法如何重现 而是数学看不懂 不知为 07/30 16:24
69F：→ hsnuyi: 啥要这样做 07/30 16:24
70F：推 wilson85771: 先把李宏毅老师的课程录影通通看懂吧 07/30 19:22
71F：推 Kazimir: 一个领域有很多面向 没有做凝态先去学弦论的道理 07/30 20:51
72F：推 prag222: 真的要有能力也要花好几年培养吧,培养出来也顶多在本地 07/30 21:44
73F：→ prag222: 在本地又会哭台湾薪水,出去有跟不了别人菁英竞争 除非 07/30 21:44
74F：→ prag222: 你很神~~~ 07/30 21:45
75F：→ red0210: 有人可以举个几篇要实分析才看懂的 paper 吗？ 07/30 21:45
77F：→ cybermeow: anFree.pdf 07/30 22:19
79F：→ cybermeow: 这种应该算有些数学在里面的 07/30 22:20
80F：→ cybermeow: 然後我自己也没有详细读不要来电我 07/30 22:21
81F：推 meteor260: 玩跟有能力改进, 如何train出好model是两码子事啊 07/31 17:11
82F：→ meteor260: 玩确实小学生可以玩啊XD, 要弄到好现在很多领域都还要 07/31 17:12
83F：→ meteor260: 花时间追论文呢 07/31 17:12
84F：→ meteor260: 啥都不懂顶多就加更多层, 然後就Vanishing Gradient 07/31 17:14
85F：→ meteor260: 然後就两手一摊 07/31 17:14
86F：推 meteor260: 就是个知其然很容易, 知其所以然很难的领域 07/31 17:16
87F：推 BlackMatrix: Vanishing Gradient在目前一般常用的ReLU不会发生 07/31 22:04
88F：→ BlackMatrix: 所以之前版上有个Kaggle冠军就是Vgg+一千层(?)Dense 07/31 22:05
89F：→ Murasaki0110: 不会发生，那ResNet或今年CVPR的DenseNet是在做啥 07/31 22:09
90F：推 BlackMatrix: 看了一下, 可以在GPU里面放更大的Model 07/31 22:20
91F：→ BlackMatrix: 通过某种Weights/Bias Sharing 07/31 22:20
92F：推 BlackMatrix: Vanishing Gradient也不会发生 07/31 23:05
93F：推 BlackMatrix: 就如同LSTM/GRU也不会发生Vanishing Gradient 07/31 23:19
94F：推 gachen: Cs231n非常不错，我各人很推荐。 08/01 15:02
95F：推 jimshadow: 实分析是指高微吗？ 08/02 16:44
96F：推 leoloveivy: 老实说适不适合就看你写程式会不会留参数 如果你很喜 08/08 01:03
97F：→ leoloveivy: 欢这些参数可以透过一些方法自动算出来 而不是再那tun 08/08 01:03
98F：→ leoloveivy: e那麽我觉得这样特质很适合ml ai 08/08 01:03
99F：推 ccmite: 算法 资料 GPU 12/21 11:46