編輯：Aeneas 好困
【新智元導讀】 歐洲博士生的這篇貼文火了！為啥美國博士生人手10篇頂會，5篇一作？有人現身說法：這裏卷瘋了，博士打底每天工作10小時，7天無休，不少人都卷出了心理問題。而且頂尖機構還有豐富的GPU資源和大佬的背書，能不能站在巨人的肩膀上，自然差之千裏……
明明都是人，怎麽美國的博士就人手十篇AI頂會，還有五篇是一作？
最近，歐洲博士的一篇質疑，在機器學習社群火了！
他表示，自己正在歐洲大學攻讀博士學位，研究方向是AI/機器學習/CV領域。
自己的博士學業為期4年。
第一年，主要就是學習怎樣真正地搞研究，了解整個的學術運作機制。
第二年，自己就已經作為共同作者，在頂會CVPR上發表了首篇論文。
第三年，他已經能夠管理研究計畫，了解了如何申請資助，掌握了資金運作機制和其中的各種細節。
此時，他的簡歷中新增了兩篇論文，一篇是期刊論文，一篇是會議論文，都是以一作身份發表的。
在此期間，他深度參與了產業界的事務，為和自己實驗室有合作的公司寫了大量跟AI、系統架構、後端、雲端運算、部署等相關的生產級程式碼。
看起來，自己應該算比較成功的博士了對不對？
然而，當他看到美國同背景的博士履歷時，直接驚呆了！
他們幾乎人手十篇頂會論文，全是CVPR、ICML、ICLR、NeurIPS級別的頂會，而且還有五篇是一作！
這位歐洲博士表示，自己受到相當大的沖擊——
這些人究竟是怎麽做到完成這麽多工作，還能每年在A類期刊上發3篇論文的？他們難道不需要睡覺嗎？
這位博士表示，我並不認為這些人比我聰明。
每當自己有了新idea，就會去尋找是否已經有人研究過。
他時常發現，某個史丹佛或者 DeepMind 的博士生剛好在一個月前發表了類似的研究，這就證明自己的思路是很前沿的，並不落伍。
然而如果要深入理解這些論文中的概念，就要需要投入的努力，再加上有獲取所有必要資源的過程，會耗費大量時間，絕不可能是2-3個月的計畫就能搞定的。
最後，這位博士發出了心底的疑問——
我真的很困惑，這幫人是如何做到這麽高效的？他們是不是有什麽特殊的研究方法和資源，讓他們如此迅速高產高品質研究？
面對網友們的各種反應，他也澄清道：自己並不是喜歡拿自己和別人比較的人，因為每個人所處環境不同。
但是，對於僅有3-4年研究經驗的人來說，短短一年內就源源不斷地產出高品質研究和創新成果，這從人類角度來看是不可能的事！自己仿佛完全被蒙在鼓裏。
背後到底有什麽因素，導致了人和人之間的這種巨大差別？
美國匯集世界頂尖人才，個個都是「卷王」
有人現身說法表示，這是因為，美國大學裏充滿了卷王！
首先，美國學術界存在一種很卷的發表和工作文化。
曾在美國頂尖CS計畫之一的實驗室做過本科生的層主表示，自己親眼目睹了研究生們的工作節奏——
一周七天都在工作，每天超過10小時，全年無休。
有一次，他無意中晚上7點去實驗室，發現自己的研究生同學還在那裏。
因為好奇他究竟會工作到多晚，層主幹脆在實驗室等他，結果是——直到淩晨1點，他才回家！
當然，這並非實驗室的強制要求，每個人都可以和計畫負責人約定自己的工作界限。
但在美國這個人才競爭如此激烈的領域，每個人都會感受到巨大的壓力，沒有誰能不受影響。
第二點，美國實驗室的顯著優勢，就是吸引了來自世界各國都頂尖人才。
這裏層主特意拿清華舉了例子，據悉這個頂尖計畫對於清華學生的錄取率僅有0.1%……
如果能吸引到中國和其他國家的頂尖人才，還讓他們每天工作10小時，那你很難不產生一些瘋狂的成果。
總之，全球頂尖人才，匯聚在了一個高強度的工作環境裏，這就造成了美國研究生驚人的學術產出。
基於NeurIPS 2022被接收論文作者數據
的確，立馬有人證實了他的說法。
他表示，在自己的實驗室，每周工作六十小時簡直是家常便飯。
在緊急時期，甚至可能飆到每周七十小時。
有一次幾個本科生因為在晚上十一點來到實驗室。當他們看到我們這些研究生還在埋頭工作時，一個個滿臉震驚。但說實話，對我們來說，這種情況再平常不過了。
另一位博士說，每天工作超過10小時，7天無休是很常見的，很多博士都是這樣的。
不過他也指出，研究團隊的規模也是造成這種情況的一個因素。
在大學裏，自己花了一年時間才完成一篇論文，而第二篇論文用了6個月，作者只有自己、導師和聯合導師。
但最近，當自己在谷歌兼職實習時，那裏的期望是讓他6個月寫出三篇論文……
因為那裏有一個規模不小的研究團隊，所以這種要求應該是常態。
總之，簡單概括就是兩點原因：
1. 他們很卷，卷到不可思議。
2. 全世界最頂尖的學生都去了美國，而不是歐洲。
而且，這種情況絕不僅僅是在AI領域存在，幾乎所有的STEM（科學、技術、工程和數學）領域都是如此！
有人說，自己在讀物理學博士的時候，也是這種狀態：生活雷根本沒有除了學習以外的東西。
這種影響其實很殘酷，不少在讀博士的心理健康狀態都不太好，已經有大量文章討論這一現象了。
既不缺GPU和資源，還有大廠/大佬背書
GPU Rich vs GPU Poor
此外，貼文中還有人一語道破：大家都沒提的一個重要因素，就是資源。
可能和大多數人一樣，樓主也是「GPU窮人」。而那些頂尖博士計畫的資源，可是有著天壤之別！
他們擁有極其昂貴的GPU集群，因此能夠快速訓練或微調幾乎所有的模型，甚至是超過千億參數的大模型。
這種資源優勢讓他們能夠大幅提升叠代速度，從而開展一些對其他人來說根本無法想象的研究。
的確，即使在美國的不同高校，手握GPU的資源也差別巨大。
之前就有全美TOP 5的機器學習博士痛心發帖自曝：實驗室裏p00數量是0，同實驗室博士之間得靠搶。
他表示在自己讀博期間，計算資源是主要瓶頸。如果能有更多高效能的GPU，計算時間會顯著縮短，研究進度也會快很多。
普林斯頓、哈佛這樣的「GPU豪門」，手上的p00至少以三四百塊打底，但是連AI教母李飛飛的史丹佛自然語言處理（NLP）小組，也只有64塊A100 GPU。
在這種巨大的差異面前，出成果的速度自然也是一個天上，一個地下。
「名人效應」
有人提到，知名機構的title，就是很有分量的隱形資產。
首先，很多知名機構和美國的大型科技公司保持著密切聯系。
這種關系不僅會激發出創新計畫的靈感，還能提供額外的資源支持。
另外，史丹佛大學或者谷歌等知名機構的title，也無形中起了很大作用。
當你看到標有這些機構的logo的預印本論文在截止日期前幾周出現在arXiv上時，情況就復雜了。
這些論文，通常都配有專業的圖表、完整的計畫網站和精心策劃的公關宣傳。
這篇文章，就被大佬戲稱為「PR工作的典範」
這種情況下，每個人都知道是誰的工作，為什麽這項工作很重要。
你敢說審稿人不會受此影響嗎？
這種情況下，他們很可能不敢給出過於嚴厲的批評。
即使他們認為論文品質很差，但這是DeepMind論文，誰敢在評審意見中直接開麥diss呢？
總之，這些頂尖機構擁有雄厚的資源，自然而然就吸引了最有抱負、最優秀的學生，可以快速推進各種計畫。
而在這些機構中，也就培養出了一種跨越好幾代學生和教師的機構文化——優先考慮如何在最短時間內，發表盡可能多的高影響力論文。
其實是「 幸存者偏差 」？
稍顯安慰的是，也有人對歐洲博士表示，其實這就是幸存者偏差。
可能他關註的都是美國頂尖的機器學習計畫，他們的成果自然也是世界一流的。
但如果去了解一下普通大學裏博士生的情況，就會發現他們作為一作在頂會上發論文的情況並不常見。
當然也有不那麽成功，或者幹脆轉行了的人。
有些人可能費了老勁也就發表了一篇論文，然而選擇去私營企業上班，不混學術圈了。
有人對這位博士表示，你所觀察到的樣本，並不具有統計學意義上的隨機性和代表性。
被偶然看到的美國博士生的論文或簡歷，幾乎可以肯定地說，代表了學術成就分布中最為top的那一波。
這些高產出的學生，往往會被他們所在的知名實驗室和機構更多地推廣。他們的成功可能源於良好的科研環境、出色的個人能力、一定的運氣成分、嚴格的競爭性選拔以及其他因素。
其實這就類似於社交媒體會導致人們焦慮和抑郁。
在社交平台上，人們傾向於展示自己最好的一面，這導致我們常常將自己與一個經過篩選、存在偏差且被美化過的樣本進行比較。
在學術界也是如此，每個研究者都在某種程度上「推銷」自己的研究成果，而那些最引人註目的成果，自然會得到更多關註。
在這種情況下，退一步、獲得更廣闊的研究視角，會很有幫助。他強烈推薦這位博士去讀一下閱讀 Richard Hamming 的經典演講稿「你和你的研究」（You and Your Research）。
也有人指出，雖然樓主的描述有些誇大了，但的確存在一個臨界點，超過這個點之後，單純增加數量和投入時間並不能等同於提高品質。
參考資料：
https://www.reddit.com/r/MachineLearning/comments/1g7dzkp/d_why_do_phd_students_in_the_us_seem_like/
