代po 今天想分享一下自己申请国外CS MS/PhD 的心得，受益於版上各位学长姐的经验良多，希 望自己的经历也能帮助或鼓励更多想出国的同学。非常建议有出国读研梦的同学提早开始 了解申请需要什麽，越早开始变越有时间能好好充实自己的经历。 【Programs】 Computer Science MS/PhD 【Research】 Foundation models (large language model), Modern Hopfield Networks and its applications 【Admission】 NorthWestern CS PhD 【Rejections】 UCSD MSCS 【Pendings】 USC CS75 【Decision】 NorthWestern CS PhD 【Eduation】 NTU Physics BS 3.6/4.3 NTU Physics MS 休学 【Publication】 ICML 2024 under review*1 【Research Experience】 Statistical Machine Learning group, Northwestern University, May 2023 - present Quantum Machine Learning, National Taiwan University (专题+硕士), July 2021 - Dec 2023 Lab Summer Student, Institute of Physics, Academia Sinica, Jun 2020 - Sep 2020 【Test Score】 TOEFL 101 【Letter of Recommendation】 -西北大学实习指导教授 -台大物理硕士指导教授 -物理系导师 ----------------------------------------------------------------- 【背景】 本人是从物理转换到CS领域。高中时期一直怀抱着研究宇宙的梦想，大二暑假在中研院读 了一个暑假的宇宙学，以及物理系课程的摧残後，学习的过程感到有趣但十分辛苦，光是 理解便花上大把时间的我便对自己是否能再理论物理做出好的研究有许多怀疑，便决定尝 试不同的跑道。大电资时代下便选了量子计算的领域，大三下开始加入管希圣老师的实验 室作量子计算，研究quantum machine learning(QML)。 期间修了不少电资领域的课如演算法, DSA, 自动机与形式语言, 深度学习之应用等等， 慢慢发现自己其实满喜欢所学能马上解决现实世界问题的研究。看了很多QML的paper也发 现厉害的work其实都大量用上了统计机器学习的理论架构，便开始认真思考是否该转换领 域的问题。 【实习经验】 非常刚好的，去年五月透过系上宣传得知西北大学 Prof. Han Liu 老师 MAGICS lab 在 招收实习生，刚好有台大物理系的学长 Jerry 正在组内读博班，跟我聊了一下以往的研 究及修课经验，便决定收我跟他一起做 Transformer from Spin Glass 的相关题目。刘 老师本身是统计机器学习理论出身，原本任职於 John Hopkins 和 Princeton ，老师在 2018 西北成立 CS 系时被挖角来西北大学，在 ML & Stats 领域貌似非常有名， 有 10+ 学生在美国名校做教职，而且近几年对台湾学生印象很好。组内研究方向为 Large Language Models (LLMs, ChatGPT...e.t.c.) and Foundation Models，包括 (i) 大模 型底层 (如Transformer, Diffusion model, Structured State Space model 等等) 的 基础理论架构 (ii) 理论保证性的算法和方法 (iii) 支持大模型的计算系统 (iv) 大模 型在重要科学问题和金融的应用。 这份实习经验大概是我能录取 CS PhD 的最大原因。组内的研究风气很好，也很愿意带我 这个外行人一起学习，实习时几乎每天就会开会讨论进度，这样的强度能明显感觉的做研 的能力提升很快。这边举三个组内的特点让我受益良多: *丰富的计算资源。人生第一次用 8 张 A100 跑实验，甚至是组内就有。西北自己的IT 部门也有a100，但conference前会塞车就是了。 *实习生就能以一作的身分参与研究。这对日後要申请 ms 或 phd 都很重要。根据今年 ML PhD 申请情报，人手 2+ 篇 ML 顶会 paper 几乎已经是拿面试的标配，有没有一作发 表就更重要了。老师让我们自己有很多 formulate 自己 idea 的机会，但并不无为而治 ，而是会频繁且积极地跟我们讨论想法并给意见或方向，这大概是指导教授最重要的功能 。跟老师报告进度时，通常会在你前几页投影片，就把你原本要报告的东西，或你看了半 个月的 relared works 处理的问题全部问完了，他甚至没看过那些 paper。 *指导教授和 senior 博班生 hand-on 的带领。初入研究最头痛的就是无从下手，或不知 道怎麽开始，这时有有经验的人带领你非常重要。而刘老师的做法是会将实习生和组内 senior PhD student 配对，保证 both high-level & hand-on mentorship，这种模式对 实习生极度友善。带我的博班生 jerry 本身是台大物理系学长，他在我实习期间花大把 时间和我们合作，实习期间几乎每天都会与我们讨论，除了出 idea 同时也 hand on 跟 我们解决许多技术难点 and writing。和他合作密切的实习生後来大多也都投了 ML 顶会 。我最後交了一篇到 ICML 2024, 甚至有学弟高三到大一跟着 jerry 做了一年就投上 NeurIPS 及 ICLR。以带实习生的结果论 MAGICS Lab 的训练应该是很扎实的，去年 2023 总共有五位跟我一样的台大暑期实习生都在 2024 年初投了一篇 ICML 2024。以下列举几 个我觉得在博班生身上学到重要的研究重点，大家在找实验室时也可以观察组内是否有这 样的风气，成长会快上许多。 **怎麽找题目，什麽样的问题是重要的，是 low hanging fruit，或 publishable，可 以减少花费大量时间却发现题目作到後来是 dead end 的机会 **一般博班生研究的 positive example。怎样算是合格的效率? 不管是读博士班或作研究 ，正确的态度都是把它当成一份正职来作，不然你硕班或博班不过是拖延进入社会的藉口 而已。在这边实际走一遍发想题目、密集讨论、跑实验边写paper、实验跑完最後一周收 尾修改paper，大概是2-3个月的事。 **怎麽写 paper。写 paper 不是写一份 technical report 而已，而是写一个故事。把逻 辑讲清楚明了只是基础，还要让人家读得轻松，也要懂得包装。刘老师在组内也对写作风 格有清晰的指导。通常paper是我先写第一遍，博班学长会接着在开会时跟我们边说明边 改一两个段落给我们看，能自己练习又能很快收到反馈，非常有效的学习方式。 Rebuttal 的过程也差不多，我们会负责自己写的section回答reviewer问题，他在与我们 讨论，我们便来来回回的修改。 总而言之，在这边老师与博班生的带领方式，好比师父与学徒一样，要求严格，却不吝於 花时间把毕生绝学都传授给你，学到很多可能自己得摸索几好几年才能学会的研究方法， 对於自己能进入这个组我感到非常幸运，也很庆幸当初的自己有好好把握这个实习机会， 结果来看这份实习经验应该是我能申请上西北最重要的原因。因此鼓励大家可以多主动联 络想去学校的教授，有没有合作研究的机会。 【推荐信】 从结果来看，拿到实习指导教授的推荐信应该对申请上 NU phd 帮助满大的，否则以我悲 剧般的GPA还有趋近於0的发表，完全有可能直接被 committe 刷掉吧! 板上也不少神人提 到拿到强推有时甚至比多几篇发表来的重要。因此多累积实习经验，如果能到美国实验室 的实习最好，这样帮你写推荐信的教授与 committe 的相关性也会增加，也会比较增加你 推荐信的可信度。 一般来说博班申请至少需要三封推荐信，而与你有直接研究合作经验的教授的推荐信才会 比较受到重视，do well in class 的推荐信则对博班来说没什麽用。 还有一点也满重要的，千万要提早申请死线两个月写信询问教授能否帮你写推荐信，有些 教授也会写上请他们写推荐信的规定，一定要提早看清楚。毕竟教授要授课作研究，每年 申请季可能有好几十封推荐信要写，不提早询问他们是没空把你排进他们的代办事项的。 关於如何向教授询问推荐信，可以参考几位美国名校教授写的 guideline。 *Shriram Krishnamurthi: Recommendation Letter from Me (brown.edu) *Rajit Manohar: Recommendation letters (cornell.edu) 【SOP与CV】 这部分网路上已经有太多资料可以参考，总结来说sop应该要1000字出头（约双面a4快满 ）且内容是research-intensed的。 以我的sop为例，第一段会是总题自己的研究经历还有兴趣，接着二三四段分别写每段研 究经历，第五段写对申请系上有兴趣的教授，最後一段总结。我的经验是如果你英文写作 不好，SOP最好提早一两个月开始写，通常写好一版好还要经过不下数十次的修改才会变 成能读的文章(当然有可能是我英文太烂xd)。不过怎麽写还是其次，自己的经历有没有料 才是最重要的。像我非常晚才决定出国，没什麽时间能累积申 请有利的经验。提早一两年开始就开始研究自己想走的领域的人们普遍录取硕博班是什麽 程度我想会是最合适。比如去看看名校博班录取生的CV，推算一下他们申请时有怎样的发 表以及实习经验，就能大致了解自己需要做怎样的准备。再强调一次申请博班有paper(s) 但需要时间累积，比如不一定每个研究题目做到後面都会work out，因此越早开始越好。 以下附上几个满不错的教授们的guideline: *What faculty members are looking for in a grad school application essay. – MIT EECS *UCSD CS 教授 Philipe Guo 的 "A Five-Minute Guide to Ph.D. Program Applications” 【英文】 TOEFL 一战 101（R27/L26/S24/W24） 没补习。考试日期约在10月底，大概月初才开始准备，很久没念英文所以准备起来其实满 紧张的，自己英文程度大概学测15但没读指考，7000单没背完。准备方法基本上就是狂做 口说写作考古题（约15回）熟悉题型和练习用模板，阅读和听力因为一开始做考古分数落 在27～29就没特别练习（大概只练5回吧），从结果来看实在是太大意了，建议大家还是 稳稳的把考古做好做满。个人其实没特别背什麽单字，不过考出来结果跟板上大家比实在 普普通通，准备方法大家参考看就好。附上两个我觉得不错的备考资源: *写作跟口说的考试技巧，非常实用 https://reurl.cc/qV1elN *非常多的template或范文范文可以参考 https://www.toeflresources.com/speaking-section/ 【感谢】 能走到出国读博班这一天，实在是遇到太多的贵人，自己是非常感激的。 感谢老爸老妈，从小到大都支持我做自己想做的事。 感谢Jerry，不管是做研究或申请过程中都给予我非常多的帮助，尤其帮我细细修改了很 多次的sop。 感谢西北实验室的研究夥伴Robin，很有耐心的带我这个外行人踏入ML的研究领域，也给 我很多鼓励。 感谢台大物理管希圣老师愿意让我升硕二的暑假参与西北的远端实习，也支持我申请cs博 士班。 感谢朱士维老师、林轩田老师百忙之中还愿意帮我这个死线仔写推荐信。 最後，也感谢每个在我申请过程中给我帮助、支持与陪伴的人们，当我怀疑自己时总是能 使我重拾信心。 【Conclusion】 从一个物理系学生跨到CS领域，我觉得我是非常幸运地拿到这个offer，不管是遇到愿意 手把手指导我的 Jerry 学长，还是刘老师愿意相信我的能力给我这样的机会。我也深知 自己的实力以一位 cs 博班生来说， 还有太多要学习才能赶上同侪，期许自己能保持做实习是的冲劲以及感激的心，把 握这个难得的机会，不忘初衷的好好打拼与成长。也希望这篇文章能给那些像我一样，曾 经不觉得自己有机会出国、或想转领域的同学一些鼓励，任何时候开始积极地追逐梦想都 不嫌晚，希望大家都能申请顺利！ --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.34.134.158 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/studyabroad/M.1714050210.A.E2C.html ※ 编辑: willson2000 (1.34.134.158 台湾), 04/25/2024 21:09:17 ※ 编辑: willson2000 (1.34.134.158 台湾), 04/25/2024 21:24:03 ※ 编辑: willson2000 (1.34.134.158 台湾), 04/27/2024 22:54:13