课名：深度学习 科号：CS5656 老师：吴尚鸿 课本：无 课别：资工系硕士班课程 学分：3 凉度：★★ 甜度：★★★★★ 建议先修课程：线性代数、机率、程式设计 课程内容\简介： 这个课程主要分为六个部分: (1) Math (Linear Algebra, Probability…) (2) Machine Learning (SVM, ensemble…) (3) Neural Networks (Optimization, Regularization…) (4) Convolutional Neural Networks (Object Detection, Style Transfer, GAN…) (5) Recurrent Neural Networks (Attention, Image Captioning…) (6) Reinforcement Learning (Q-learning, DRL…) 基本上整个课程像是Deep Learning的一个总览，几乎大部分常见的Deep Learning架构都 会被提到。前面会先讲解基础数学以及基础ML的知识，後面进入Neural Networks的部分 ，CNN、RNN就讲解一些常见的tasks以及经典的models，比较像是介绍的成分居多。最後 ，则是讲了基本的强化学习(RL)理论。 我认为老师的slide是这堂课的精华，个人认为ML以及RL的讲义写得很好，有数学推导但 不会过於艰深，适合想要入门的人学习。 上课方式：每周有两节课是由教授上课，剩下的一节课留给助教讲述Lab细节以及Competi tion的内容。因为要上的内容太多，所以老师上课会以重点讲解大概念为主，想了解细节 的部分可以看网路上录好的教学影片或是详读该章节的reference paper。 给分： Quiz 20% Lab * 10 40% Competition * 4 40% Bonus lab * 5 5 % 考试作业型态： (1) Quiz: 期初考并不会太难，主要范围是Deep Learning的基础数学理论，身边同学说只要读过一 次范围就可以考80分以上。 (2) Lab: Lab为大概每周一次，缴交期限为一周，主要是Python实作，内容会依照目前上课上到的 部分决定。例如: 现在课程进度到RNN，Lab就会实作句子翻译和Image Captioning (辨识 图片中的文字)等等RNN相关的应用。 Lab不会很难，助教很厉害都会先把大部分的code都写好，只要完成缺少的部分即可，不 用处理I/O或是data format等问题。而且Lab的notebook都写的很好，好好阅读後实作完 ，打code功力会提升许多。 (3) Competition: 这学期一共有4次小组竞赛，分别做了: 1. News Popularity Prediction 2. Object Detection 3. Reverse Image Captioning 4. Flappy Bird 学期初会进行分组，大概2~4个人一组。在每一次竞赛，每一组会训练并产生prediction( 或是output)并上传到Kaggle去比拚，performance越好的组别能拿到的成绩越高。每一次 的竞赛只会有2周的时限，个人觉得时间压力算大。 我认为竞赛是这门课的精随，透过竞赛才能更了解如何实作Deep Learning的frameworks ，其中包括: 调参数、选model架构、选embedding等等。因为是竞赛，有些厉害的组别还 会去把一些最新的model手刻出来，直接虐爆全班。值得一提的是，每次竞赛前三名的组 别，可以上台跟全班报告自己使用的方法ㄛ! 今年有特别规定竞赛要使用Tensorflow 2.0去自行实作，可能是因为往年很多人都直接抄 Github上面的code虐人(Tensorflow 1.0, PyTorch)，造成竞赛的不公平。 老师的喜好、个性：老师专业中带一点幽默，上课气氛不错。 给加签吗? 会先全部签，但是开学第三周会有一次期初quiz，会依照quiz成绩来决定是否能修这门课 。今年条件是成绩在班上前70名。 补充: 我觉得这门课有GPU很重要，有GPU就是老大，因为竞赛几乎都要训练很久，如果用 Colab训练会等到天荒地老。另外，组员也很重要，厉害的组员带你上天堂。像是在第四 次竞赛(Flappy Bird)，助教说只要能训练frame-based model并成功过五根管子，就直接 加总成绩5分。我的组员听到後就疯狂训练烧GPU，最後我们这组因此成功加到分。 总成绩/班上排名：100/1 成绩: A+ 成绩分布：未公开，但是根据助教公布的成绩，全班有大概一半A+、四分之一A，个人觉 得算是扎实甜。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 223.140.124.164 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/NTHU_Course/M.1612025203.A.31D.html 用PPO + 类似助教前面DRL Lab的CNN架构 + screen cropping 哦 ※ 编辑: blackmaninEE (223.140.124.164 台湾), 01/31/2021 10:58:16