[錄取] Northwestern CS PhD (Phys->CS)

看板studyabroad (留學)作者willson2000時間1周前 (2024/04/25 21:03)推噓11(11推 0噓 2→)

留言13則, 12人參與討論串1/1

代po 今天想分享一下自己申請國外CS MS/PhD 的心得，受益於版上各位學長姐的經驗良多，希望自己的經歷也能幫助或鼓勵更多想出國的同學。非常建議有出國讀研夢的同學提早開始了解申請需要什麼，越早開始變越有時間能好好充實自己的經歷。【Programs】 Computer Science MS/PhD 【Research】 Foundation models (large language model), Modern Hopfield Networks and its applications 【Admission】 NorthWestern CS PhD 【Rejections】 UCSD MSCS 【Pendings】 USC CS75 【Decision】 NorthWestern CS PhD 【Eduation】 NTU Physics BS 3.6/4.3 NTU Physics MS 休學【Publication】 ICML 2024 under review*1 【Research Experience】 Statistical Machine Learning group, Northwestern University, May 2023 - present Quantum Machine Learning, National Taiwan University (專題+碩士), July 2021 - Dec 2023 Lab Summer Student, Institute of Physics, Academia Sinica, Jun 2020 - Sep 2020 【Test Score】 TOEFL 101 【Letter of Recommendation】 -西北大學實習指導教授 -台大物理碩士指導教授 -物理系導師 ----------------------------------------------------------------- 【背景】本人是從物理轉換到CS領域。高中時期一直懷抱著研究宇宙的夢想，大二暑假在中研院讀了一個暑假的宇宙學，以及物理系課程的摧殘後，學習的過程感到有趣但十分辛苦，光是理解便花上大把時間的我便對自己是否能再理論物理做出好的研究有許多懷疑，便決定嘗試不同的跑道。大電資時代下便選了量子計算的領域，大三下開始加入管希聖老師的實驗室作量子計算，研究quantum machine learning(QML)。期間修了不少電資領域的課如演算法, DSA, 自動機與形式語言, 深度學習之應用等等，慢慢發現自己其實滿喜歡所學能馬上解決現實世界問題的研究。看了很多QML的paper也發現厲害的work其實都大量用上了統計機器學習的理論架構，便開始認真思考是否該轉換領域的問題。【實習經驗】非常剛好的，去年五月透過系上宣傳得知西北大學 Prof. Han Liu 老師 MAGICS lab 在招收實習生，剛好有台大物理系的學長 Jerry 正在組內讀博班，跟我聊了一下以往的研究及修課經驗，便決定收我跟他一起做 Transformer from Spin Glass 的相關題目。劉老師本身是統計機器學習理論出身，原本任職於 John Hopkins 和 Princeton ，老師在 2018 西北成立 CS 系時被挖角來西北大學，在 ML & Stats 領域貌似非常有名，有 10+ 學生在美國名校做教職，而且近幾年對台灣學生印象很好。組內研究方向為 Large Language Models (LLMs, ChatGPT...e.t.c.) and Foundation Models，包括 (i) 大模型底層 (如Transformer, Diffusion model, Structured State Space model 等等) 的基礎理論架構 (ii) 理論保證性的算法和方法 (iii) 支持大模型的計算系統 (iv) 大模型在重要科學問題和金融的應用。這份實習經驗大概是我能錄取 CS PhD 的最大原因。組內的研究風氣很好，也很願意帶我這個外行人一起學習，實習時幾乎每天就會開會討論進度，這樣的強度能明顯感覺的做研的能力提升很快。這邊舉三個組內的特點讓我受益良多: *豐富的計算資源。人生第一次用 8 張 A100 跑實驗，甚至是組內就有。西北自己的IT 部門也有a100，但conference前會塞車就是了。 *實習生就能以一作的身分參與研究。這對日後要申請 ms 或 phd 都很重要。根據今年 ML PhD 申請情報，人手 2+ 篇 ML 頂會 paper 幾乎已經是拿面試的標配，有沒有一作發表就更重要了。老師讓我們自己有很多 formulate 自己 idea 的機會，但並不無為而治，而是會頻繁且積極地跟我們討論想法並給意見或方向，這大概是指導教授最重要的功能。跟老師報告進度時，通常會在你前幾頁投影片，就把你原本要報告的東西，或你看了半個月的 relared works 處理的問題全部問完了，他甚至沒看過那些 paper。 *指導教授和 senior 博班生 hand-on 的帶領。初入研究最頭痛的就是無從下手，或不知道怎麼開始，這時有有經驗的人帶領你非常重要。而劉老師的做法是會將實習生和組內 senior PhD student 配對，保證 both high-level & hand-on mentorship，這種模式對實習生極度友善。帶我的博班生 jerry 本身是台大物理系學長，他在我實習期間花大把時間和我們合作，實習期間幾乎每天都會與我們討論，除了出 idea 同時也 hand on 跟我們解決許多技術難點 and writing。和他合作密切的實習生後來大多也都投了 ML 頂會。我最後交了一篇到 ICML 2024, 甚至有學弟高三到大一跟著 jerry 做了一年就投上 NeurIPS 及 ICLR。以帶實習生的結果論 MAGICS Lab 的訓練應該是很扎實的，去年 2023 總共有五位跟我一樣的台大暑期實習生都在 2024 年初投了一篇 ICML 2024。以下列舉幾個我覺得在博班生身上學到重要的研究重點，大家在找實驗室時也可以觀察組內是否有這樣的風氣，成長會快上許多。 **怎麼找題目，什麼樣的問題是重要的，是 low hanging fruit，或 publishable，可以減少花費大量時間卻發現題目作到後來是 dead end 的機會 **一般博班生研究的 positive example。怎樣算是合格的效率? 不管是讀博士班或作研究，正確的態度都是把它當成一份正職來作，不然你碩班或博班不過是拖延進入社會的藉口而已。在這邊實際走一遍發想題目、密集討論、跑實驗邊寫paper、實驗跑完最後一周收尾修改paper，大概是2-3個月的事。 **怎麼寫 paper。寫 paper 不是寫一份 technical report 而已，而是寫一個故事。把邏輯講清楚明瞭只是基礎，還要讓人家讀得輕鬆，也要懂得包裝。劉老師在組內也對寫作風格有清晰的指導。通常paper是我先寫第一遍，博班學長會接著在開會時跟我們邊說明邊改一兩個段落給我們看，能自己練習又能很快收到反饋，非常有效的學習方式。 Rebuttal 的過程也差不多，我們會負責自己寫的section回答reviewer問題，他在與我們討論，我們便來來回回的修改。總而言之，在這邊老師與博班生的帶領方式，好比師父與學徒一樣，要求嚴格，卻不吝於花時間把畢生絕學都傳授給你，學到很多可能自己得摸索幾好幾年才能學會的研究方法，對於自己能進入這個組我感到非常幸運，也很慶幸當初的自己有好好把握這個實習機會，結果來看這份實習經驗應該是我能申請上西北最重要的原因。因此鼓勵大家可以多主動聯絡想去學校的教授，有沒有合作研究的機會。【推薦信】從結果來看，拿到實習指導教授的推薦信應該對申請上 NU phd 幫助滿大的，否則以我悲劇般的GPA還有趨近於0的發表，完全有可能直接被 committe 刷掉吧! 板上也不少神人提到拿到強推有時甚至比多幾篇發表來的重要。因此多累積實習經驗，如果能到美國實驗室的實習最好，這樣幫你寫推薦信的教授與 committe 的相關性也會增加，也會比較增加你推薦信的可信度。一般來說博班申請至少需要三封推薦信，而與你有直接研究合作經驗的教授的推薦信才會比較受到重視，do well in class 的推薦信則對博班來說沒什麼用。還有一點也滿重要的，千萬要提早申請死線兩個月寫信詢問教授能否幫你寫推薦信，有些教授也會寫上請他們寫推薦信的規定，一定要提早看清楚。畢竟教授要授課作研究，每年申請季可能有好幾十封推薦信要寫，不提早詢問他們是沒空把你排進他們的代辦事項的。關於如何向教授詢問推薦信，可以參考幾位美國名校教授寫的 guideline。 *Shriram Krishnamurthi: Recommendation Letter from Me (brown.edu) *Rajit Manohar: Recommendation letters (cornell.edu) 【SOP與CV】這部分網路上已經有太多資料可以參考，總結來說sop應該要1000字出頭（約雙面a4快滿）且內容是research-intensed的。以我的sop為例，第一段會是總題自己的研究經歷還有興趣，接著二三四段分別寫每段研究經歷，第五段寫對申請系上有興趣的教授，最後一段總結。我的經驗是如果你英文寫作不好，SOP最好提早一兩個月開始寫，通常寫好一版好還要經過不下數十次的修改才會變成能讀的文章(當然有可能是我英文太爛xd)。不過怎麼寫還是其次，自己的經歷有沒有料才是最重要的。像我非常晚才決定出國，沒什麼時間能累積申請有利的經驗。提早一兩年開始就開始研究自己想走的領域的人們普遍錄取碩博班是什麼程度我想會是最合適。比如去看看名校博班錄取生的CV，推算一下他們申請時有怎樣的發表以及實習經驗，就能大致了解自己需要做怎樣的準備。再強調一次申請博班有paper(s) 但需要時間累積，比如不一定每個研究題目做到後面都會work out，因此越早開始越好。以下附上幾個滿不錯的教授們的guideline: *What faculty members are looking for in a grad school application essay. – MIT EECS *UCSD CS 教授 Philipe Guo 的 "A Five-Minute Guide to Ph.D. Program Applications” 【英文】 TOEFL 一戰 101（R27/L26/S24/W24）沒補習。考試日期約在10月底，大概月初才開始準備，很久沒唸英文所以準備起來其實滿緊張的，自己英文程度大概學測15但沒讀指考，7000單沒背完。準備方法基本上就是狂做口說寫作考古題（約15回）熟悉題型和練習用模板，閱讀和聽力因為一開始做考古分數落在27～29就沒特別練習（大概只練5回吧），從結果來看實在是太大意了，建議大家還是穩穩的把考古做好做滿。個人其實沒特別背什麼單字，不過考出來結果跟板上大家比實在普普通通，準備方法大家參考看就好。附上兩個我覺得不錯的備考資源: *寫作跟口說的考試技巧，非常實用 https://reurl.cc/qV1elN *非常多的template或範文範文可以參考 https://www.toeflresources.com/speaking-section/ 【感謝】能走到出國讀博班這一天，實在是遇到太多的貴人，自己是非常感激的。感謝老爸老媽，從小到大都支持我做自己想做的事。感謝Jerry，不管是做研究或申請過程中都給予我非常多的幫助，尤其幫我細細修改了很多次的sop。感謝西北實驗室的研究夥伴Robin，很有耐心的帶我這個外行人踏入ML的研究領域，也給我很多鼓勵。感謝台大物理管希聖老師願意讓我升碩二的暑假參與西北的遠端實習，也支持我申請cs博士班。感謝朱士維老師、林軒田老師百忙之中還願意幫我這個死線仔寫推薦信。最後，也感謝每個在我申請過程中給我幫助、支持與陪伴的人們，當我懷疑自己時總是能使我重拾信心。【Conclusion】從一個物理系學生跨到CS領域，我覺得我是非常幸運地拿到這個offer，不管是遇到願意手把手指導我的 Jerry 學長，還是劉老師願意相信我的能力給我這樣的機會。我也深知自己的實力以一位 cs 博班生來說，還有太多要學習才能趕上同儕，期許自己能保持做實習是的衝勁以及感激的心，把握這個難得的機會，不忘初衷的好好打拼與成長。也希望這篇文章能給那些像我一樣，曾經不覺得自己有機會出國、或想轉領域的同學一些鼓勵，任何時候開始積極地追逐夢想都不嫌晚，希望大家都能申請順利！ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.34.134.158 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/studyabroad/M.1714050210.A.E2C.html ※ 編輯: willson2000 (1.34.134.158 臺灣), 04/25/2024 21:09:17 ※ 編輯: willson2000 (1.34.134.158 臺灣), 04/25/2024 21:24:03