My website: https://voidism.github.io/home/ [研究领域] Machine Learning for Natural Language Processing, Speech Processing (都是申请2021 Fall) [Admission] MIT EECS PhD (1/20 interview, 1/27 accept, 我最早拿到的正式offer, 其他间都要说 掰掰了...) CMU LTI MLT (1/20 interview, 2/4 accept, 投PhD降转Master) UCSB CS PhD (1/5 interview, 2/5 accept, 教授1/7口头上给我offer) UW ECE PhD (no interview, 2/5 accept) [Rejection] UC Berkeley EECS PhD (1/12 interview, 2/20 reject) USC CS PhD (no interview, 3/16 reject) [Pending] (以下大概都不会再收到admission了) Georgia Tech CS PhD (1/8+1/19 two interviews，原本有要发offer给我，但听到我已 经有MIT，就没发了...) UCLA CS PhD NYU CS PhD [Background] NTU EE, BS, 2016-2020 GPA: overall 4.18/4.3, major 4.22/4.3 Rank: 15/177 (8%) 书卷奖 x4 GRE: 322 (V152/Q170/AW3.0) TOEFL: 102 (R30/L26/S22/W24) [Publications] Interspeech 2020 x1 (first author) EMNLP 2020 x2 (first author/long/main + co-first author/short/findings) EMNLP 2019 workshop x1 (co-first author/long) Under review: NAACL 2021 x2, ICASSP 2020 x1 (second author) [其他经历] TA: Deep Learning for Human Language Processing 2020 Intern/RA@中研院(2018-2019) [推荐信] 台大专题教授 x3 其他经历详细可以看我网站或 Google Scholar [Research Experience] 当初大二下修完ML，开始觉得机器能够理解及生成人类的语言(语音or文字)，用来回答问 题or生成句子是一件很amazing的事情。加上当时觉得这个领域还有很多未知或是做得不 够好的部分尚待探索(那时候BERT还没出来...)，心中期待着有一天我们能用电脑运算理 解人类语言的秘密，就一头栽进来做研究，也渐渐产生兴趣(如: Multilingual BERT竟 然能unsupervised把不同语言的embedding space很准地align起来，完全不需要paired data等等神秘现象)。 大三到大四前三个学期的研究其实一直都没有很顺利，每次想了一个新idea想做做看，写 code跑实验出来结果总是会遇到各式各样的问题，一直面对失败换方向写code跑实验，每 周都花上大把时间栽在研究上，有去无回，经历多次conference deadline前连续几天赶 到早上才入睡，数据跑出来不如预期胆战心惊痛苦失眠etc...。幸好最後研究慢慢渐入佳 境，在大四下好不容易挤出一些成果上了几篇conference。 真的非常感谢我的恩师李宏毅老师一路上给我的支持，从大二开始就看老师的Youtube入 门ML，老师总是能化繁为简，把很复杂的概念用low-dimensional的manifold(?)传达给学 生了解，也能很快了解我在做的研究想法细节，做进一步延伸讨论。老师看似不拘小节， 实际上是个心思很细腻的人，总是能看到很细节的地方，也非常在乎学生做研究的心情与 感受。大三上开始跟老师做专题，记得大三暑假两个月做同一个题目做不出来，大四上第 一次投conference被惨遭reject，都是老师一直不断的加油打气给予方向，才让我慢慢调 整心态坚持下去，最後大四下才顺利投上了人生第一篇conference。 再来要感谢陈縕侬老师一路上给我的帮忙，在大三上加入Miulab当专题生，做过一堆最後 没成功的题目，还记得那时连续好一段时间跟学长讨论到深夜两三点，最後还是一直失败 。虽然如此，老师总是给我很多鼓励跟研究方向上的建议，细心地帮我修paper，最後终 於在大四下投上了两篇EMNLP，在申请学校时也给了我很多选校建议跟帮助，让我顺利录 取了很多学校。 最後要感谢李琳山老师，虽然跟老师直接的讨论跟交流不是前面两位老师那麽多，但在跟 老师改paper的过程中，学习到如何把研究内容说成一个好的故事(整篇paper每一句话都 老师被仔细地删掉重新写+重排顺序)，从大二修课以来也不断学习到老师丰富的人生经验 ，最後老师也不吝帮我写了第三封推荐信，在我申请过程中帮了很大的忙。 > p.s. 老师的信号与人生 2019 & 2020 有录影在Youtube > 对才刚大一大二、对未来还很迷惘的学生很有帮助。 > https://www.youtube.com/watch?v=PtmthIH1JJs > https://www.youtube.com/watch?v=mBsdgTYqMio > 另外这让我想到最近大神我同学开办的 NTUEE podcast，专访一些在北美业界的毕业校 > 友学长姐，各大平台皆有上线，有兴趣可以听看看: > https://open.firstory.me/story/cklv1nqvxw5uo0996i1tc9x67/platforms > 说到podcast，我刚好可以分享NLP领域、AI2做的一个不错的podcast，会请很多当红教 > 授或PhD学生来访谈，可以挑有兴趣的题目来听。 > https://soundcloud.com/nlp-highlights [心得] 最近几年作AI/ML方向的CS PhD申请一年比一年竞争，你如果点开一些名校大咖实验室的 网页，可能会发现他们收的学生早在大学时期早已周旋於美国各大名校大咖实验室做研究 or visiting，手拿一堆first-author顶会paper外加大佬推荐信(当然也有少数例外不是 这样)。我自己觉得"connnection, publication, align程度"这三者是在申请时的必要 条件。我自己在选校时几乎一半都是选择投有台湾人学长姐去过的实验室，至少确定教授 会对台湾学校毕业的学生有兴趣，而且他们也多半知道或认识我在台大的老师。另外就算 没connection，也可以多找找刚加入faculty的新老师，刚加入的第一两年正在扩张期， 通常比较缺学生，愿意多面试看看不同适合的人选，而且最近很多学校开始建立或扩张 NLP group，加入了一些有实力的新老师前途无量，可以考虑。 > p.s. 可以办一个twitter帐号用来追踪教授，通常大家会在上面分享自己group的新 > paper，可以收到第一手资讯，甚至一些新教授收学生的资讯也会出现。 > 这是我的帐号:https://twitter.com/YungSungChuang > 有追踪很多相关领域的教授。 Publication的话，这年头AI/ML方向的PhD申请者大家手中都有个两三篇top conference paper已经是标配。我觉得比数量更重要的是，跟你面试的教授对你做的东西有没有fu， 你跟他研究方向的align程度有多大。就算有很多篇paper，但是教授不懂这研究的价值跟 厉害在哪，就比较没用处(除非他真的缺人那可能比较没差，能做研究的学生就收)。 我自己面试的时候，有遇到方向很吻合的教授，做的方向跟我之前的paper有重叠，甚至 有一个教授说他们前阵子投了一篇paper到NAACL，发现内容跟我去年EMNLP long paper长 得很像...。反之，我连面试都没拿到的学校(USC, NYU)，其实大部分都是方向有点小歧 异(即使都是做NLP研究的)，虽然我读了很多他们实验室的paper，也在SoP里面阐述很多 我对这些研究的看法，但教授们还是没有买单...，可能他们已经有一堆更align的人选， 所以自然轮不到我。 对於现在还在选题目做研究，有一两年可以慢慢准备的学生，我觉得可以多考虑看看去作 跟自己有兴趣的实验室相近的研究主题(所以可能要先定下目标)，有了那个方向的研究成 果，之後在写SoP的时候也会变得很流畅。另一方面，如果做的方向太过单一集中，而只 适合用来申请特定实验室的话，也是有点危险的。像我自己就是有同时做多个主题 (NLP+Speech)，所以这两边都可以申请，降低风险，这部分就是一个trade-off。 [SoP] 因为我做过很多不同的研究主题，一开始写出来的第一版SoP非常零散，像是记流水帐一 样，罗列我之前做的东西，也想不出什麽好的故事可以把他们串起来。後来有一天看到了 Stanford大神Nelson Liu(Percy Liang的PhD学生)在他的部落格提供他自己的SoP https://blog.nelsonliu.me/2020/11/11/phd-personal-statement/ ，才学习他的方式，把所有的project集中框出两个大主题，围绕这两个大主题去介绍， 为何自己要做这些小project?(为了这个大主题) 如此一来，整篇SoP就会比较像是一个整体。像我自己是选择用 1. Generalizability 2. Efficiency of NLP models 来当主题。在面试第一位教授时，他就有说我的SoP写的 两个方向就正是他想要做的两个方向(虽然project细节方向没有完全一样)，後来面试完 隔天就给了我口头offer。 另外Nelson Liu在他的部落格里也有说到，他在SoP里没有很具体讲述自己未来想做什麽 样的project，怕如果想法没有很好，反而造成反效果，但是事後来看如果有这样做应该 更好： “I also regret not being more concrete about maybe specific projects I want to do in the future, but I recognize that it's easy to say that in hindsight. As I was writing the statement, I was definitely afraid that my misinformed senior-year undergraduate research opinions would turn off any NLP faculty with the misfortune of reading my application, so I chose to be conservative instead and say less. Looking back, I think it might have actually looked better to have stronger personal opinions with more evidence for why I feel the way I do.” 一开始我写SoP针对每个教授的段落时，其实也是怕自己的idea太naive，所以只有很保守 地写说「我对XXX主题有兴趣」，但後来学长强力建议之下，我就改成帮每一个教授想一 个与他之前发的paper有相关(或是也结合自己的work)的延伸题目，也就是： 「我对XXX主题有兴趣，想朝YYY方向发展」 「我对XXX主题有兴趣，想说可以结合AAA跟BBB达到CCC的效果」 为了写出这些，每一个教授我都花了蛮多时间先看一轮他的paper，然後再想出可行一点 的idea写上去，这麽做虽然很累，我大概花了一两个礼拜在做这件事，但至少能告诉教授 说，我很认真在看你的work，而且我对这领域有想法、有概念可以往哪里发展。 > p.s. Nelson Liu 的部落格还有一篇好文章，是访问+统计了很多他同学的申请NLP PhD > 过程经验总结，非常值得一看: http://bit.ly/3bZdQiu [Interview] 面试的部分，除了第一个面试我的教授有问了一些机率模型的数学问题，另外一个教授叫 我回去推导backpropagation写在overleaf隔天交，其他教授大部分像是纯聊天，让你介 绍你的work(可做个简单投影片)，他再针对细节问问题，或是问你一些延伸的看法。我自 己觉得，如果教授在跟你面试时，可以跟你聊到研究很detail的内容(代表他有兴趣)，而 且谈得愉快，甚至最後开始跟你推销我们学校很好，那大概蛮大机率会上。反之如果他听 完好像没问什麽细节问题(没fu)，像是面试我的Berkeley教授，也没有相谈甚欢的感觉， 那可能就不会上QQ。不过当然这只是我面试了少数几个教授的经验，仅供参考而已，其他 领域的面试可能就不太一样。 [套辞] 套辞信这东西，有的人说有用，有的人说没用，不过我是觉得寄一下没关系(当然内容要 花时间好好雕琢一下，按下寄出之前你会犹豫再三XD)，没有收到回信也没损失，除非那 个教授网站上有写说不要寄信给他、很烦，那就真的不要寄比较好。 我自己寄信的时间点在申请deadline刚过，圣诞节之前。跟SoP很像，除了介绍一下我是 谁我做过什麽之外，我也放了一些我对该教授研究想的idea，但不要让信变的太长会让人 不想看完。我写的6封信3封有被回，但有一封没回也没面试的却有拿到offer(上了之後才 联络我)，所以感觉也跟套辞信不一定有太大的关系。 另外，在申请deadline之前刚好我去参加EMNLP 2020，因为疫情关系是线上举行的，有提 供一个Rocket.chat聊天室，可以直接密任何一位与会者，包括一些你想申请的教授。如 果是现场会议，我英文又很破，一定不太敢路边乱搭讪教授XD，但这次是传文字讯息就比 较没压力。於是那时我就趁乱密了一些教授看看，大部分教授都会回(毕竟那几天就是专 心来交流的)，就有问到他们明年实验室有没有收人的资讯，如果当时教授就说不收的话 ，就可以换申请别的教授，也有一个教授当时有跟我约视讯聊聊研究(半面试)，所以如果 有机会参加conference要好好把握这个机会，就算是virtual conference也是行的。 [总结] 其实一直到大三之前都还没有很确定自己是不是想要出国，我的爸妈都是没上过大学的平 凡人，本来也不太支持我出国留学，希望我找个稳定工作餬口饭吃能养家就好，如果想出 国读硕士，家里也是付不起昂贵学费的。 後来我在大三大四开始做研究之後，开始觉得自己不想只是当个engineer照着spec刻好需 求做优化(虽然这样其实也很快乐也很有贡献)，而是能想出一些别人没想过的东西，然後 实现出来。每次读paper看到国外学校实验室做的好多有贡献有想法的研究，想着有一天 也要跟他们一样厉害。 於是，我渐渐把目标转为申请PhD(博士也才有薪水养活自己)，努力冲publication，申请 的时候也就赌一把都没有投master program，父母也才转为支持态度。 大学这四年後两年几乎都在研究，洒下大把时间，没什麽生活品质，写code到深夜，近视 也加深了，真的不太优，希望以後博士生活可以work/life balance一点(有可能吗?XD 以上写的都是针对我这个领域，其他领域的话就不一定适用了。 如果有想到什麽新东西会再补充。 希望这篇可以帮助到需要的人！ --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.193.99.22 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/studyabroad/M.1616171844.A.181.html ※ 编辑: jexus (123.193.99.22 台湾), 03/20/2021 00:39:36 ※ 编辑: jexus (123.193.99.22 台湾), 03/20/2021 00:40:59 ※ 编辑: jexus (123.193.99.22 台湾), 03/20/2021 00:44:31 ※ 编辑: jexus (123.193.99.22 台湾), 03/20/2021 00:54:47 ※ 编辑: jexus (123.193.99.22 台湾), 03/20/2021 01:30:00 有阿 应该是做distillation那时候 XD 哈哈被发现了 XD ※ 编辑: jexus (123.193.99.22 台湾), 03/20/2021 09:18:47 ※ 编辑: jexus (123.193.99.22 台湾), 03/20/2021 09:20:49 ※ 编辑: jexus (123.193.99.22 台湾), 03/20/2021 10:44:27 ICASSP under review是指申请当下啦 後来有上 ※ 编辑: jexus (123.193.99.22 台湾), 03/21/2021 01:16:39