當前位置: 華文星空 > 心靈

OpenAI CEO深度訪談:1人+10000塊GPU,能創收數十億美元

2024-11-13心靈

智東西11月12日訊息,近日,美國知名創業孵化器Y Combinator(YC)總裁兼CEO Garry Tan對OpenAI聯合創始人兼CEO Sam Altman(山姆·阿爾特曼)進行了訪談。訪談從Sam Altman的網誌文章【智能時代(The Intelligence Age)】切入,談到了OpenAI初創團隊的建立、Scaling Law對OpenAI的意義、早年在YC和Loopt的經歷、OpenAI團隊變動,以及AGI的五級路徑等話題。

訪談中,Altman提到,在可預見的未來,隨著第五級AGI——Organizations的實作,或許一個人加一萬個GPU就可以建立一家年營收達數十億美元的公司。而對於即將到來的2025年,他最期待的是AGI以及自己的孩子。

今年9月下旬,Altman在【智能時代】一文中預測,AI的超級智能(ASI)將在幾千天內到來,而深度學習有效(deep learning worked)將成為OpenAI邁入智能時代的必經之路。Altman說:「深度學習有效,並且可以預見的是,隨著規模的擴大,深度學習會變得更好,而且我們為其投入了越來越多的資源。」

Altman在訪談中承認這是一個非常瘋狂的陳述。但他可以看到一條路徑——OpenAI正在做的工作不斷產生復利,讓其過去三年取得進展的速度得以在接下來的三年、六年、九年甚至更長時間內持續下去。

OpenAI使用的Scaling Law(縮放定律)常被業內視作異端。Altman對此回應說:「 我們的資源遠遠少於DeepMind和其他公司。我們只需要選擇一個方向並真正集中精力。這就是我們的制勝法寶,也完全是正確的創業要點。Scaling是我一直感興趣的東西。事實證明,對於深度學習模型,我認為這是一個極度被低估的財富和應該追求的方向。

關於近一年來的巨大人事變動,Altman也沒有避諱。他說:「任何公司都會以某種速度迎來團隊變動,那些擅長從零到一的人,未必擅長從一到十或者從十到百。」而與此同時,雖然OpenAI距離實作AGI還有一段路程要走,但Altman說:「第一次感覺我們真的知道該做什麽」。

作為近年來最受關註AI獨角獸的聯合創始人,Altman建議創業者押註AGI技術趨勢,和谷歌等大公司、甚至創立幾年的初創公司相比,「你的優勢在於速度、專註、信念以及對技術發展速度做出反應的能力」。

以下是對Sam Altman本次采訪的節選編譯,關於Altman早年在YC和Loopt的經歷有所省略:

01.現在是創辦科技公司的最佳時機,OpenAI遠沒有達到極限

Garry Tan:讓我們談談你關於智能時代的最新文章。你認為現在是創辦科技公司的最佳時機嗎?

Sam Altman: 至少可以說,現在迄今為止最理想的時機;希望未來會有更好的節點。我認為,每次重大的技術革新都會極大地拓寬我們的能力邊界,你能做的事會比你之前能做的更多。我期望這些創業公司能創造更非凡的成就、帶來更深遠的影響。

我認為這就是最佳時機——當行業發展緩慢且缺乏活力時,大公司具有優勢;當像移動技術、互聯網或半導體等領域的變革興起時,甚至是過去的工業革命時期,新貴們就有了他們的優勢。我們已經很久沒有遇到這樣顛覆性的變革了。這就像文章裏說的那樣相當令人興奮。

Garry Tan:實際上,你在文中說了一件非常重要的事情,那就是AI的超級智能(ASI)會在數千天後到來。(註:We will have super intelligence in a few thousand days.)

Sam Altman: 我的意思是說,我們希望……但無論如何,這是一個非常瘋狂的陳述。

我可以看到一條路徑——我們正在做的工作不斷產生復利,讓我們過去三年取得進展的速度得以在接下來的三年、六年、九年甚至更長時間內持續下去。 你知道的,九年大概是3500天。如果我們能夠保持這樣的叠代速度甚至更快,那系統能做很多事情。我認為即使是像o1這樣的系統,在特定領域內的限定任務上,也已經展現出了極高的基礎認知能力。o1就是個非常聰明的存在,而我認為我們遠遠沒有達到進步的極限。

我們可能會撞到一些意想不到的墻,也可能會錯過一些東西,但在我們看來,未來還有很多復合增長會發生。

Garry Tan:這篇文章可能是我見過的幾乎所有文章中對技術最為樂觀的。裏面寫到很多我們可以期待的事情,比如說修復氣候、建立太空殖民地、揭示所有物理學原理、實作近乎無限的智能以及獲取豐富的能源。

Sam Altman: 我確實認為所有這些事情——可能還有更多我們無法想象的事情——可能並不那麽遙遠。我們現在可以半認真地談論這些問題,這本身就很讓人振奮。

一直以來,我最喜歡YC的一件事是,它鼓勵可能讓人難以置信的技術樂觀主義,以及一種堅定的信念,即你可以解決這些問題。這像是早期的「PG精神(YC聯合創始人Paul Graham的創業理念)」,在一個不斷告訴人們「這行不通、那行不通」的世界裏,鼓勵創始人大膽暢想。這是一件特別的事。

Garry Tan:豐富的能源似乎是一個宏大的議題。我們知道有A路徑和B路徑兩種解決方案。如果我們真的能夠實作能源充足,這似乎能夠解鎖幾乎所有的工作,不僅僅是知識密集型工作。這可以透過機器人技術、自然語言處理以及無處不在的智能來實作。我們好像正步入一個真正的富足時代。

Sam Altman:無限的智能和豐富的能源,我認為這是我們想要達成一切的兩個關鍵。 還有很多其他重要的東西,但如果我們能真正擁有這兩者,我們就能使我們想發生的事情發生。比如,我們能更快地想出更好的創意,然後讓它們在物理世界中實作。更不用說執行大量的AI也需要能源。

我認為這將是一個巨大的突破。我不確定是否要對這一切同時發生感到驚訝,因為或許這只是技術進步速度不斷加快的自然結果。但這肯定是一個非常令人興奮的時刻,也是創業的好時機。

02.建立時的三個目標:無監督學習、強化學習、團隊不超過120人

Garry Tan:你當時是如何確定OpenAI的初創團隊成員的?

Sam Altman: Greg(OpenAI聯合創始人、總裁Greg Brockman)是很早就決定加入我們的核心成員。回想起來感覺就像一部電影,像是所有銀行搶劫電影的開頭,當你開車去找人什麽的時候。

就像Ilya(OpenAI前首席科學家Ilya Sutskever),我聽說他真的很聰明。然後我在YouTube和其他網站上看了他的一些影片資料,我發現他極度聰明,像真正的天才,有著遠見卓識。我當時想,我遇到了那個家夥!我給他發了電子郵件,他沒有回復;我就去參加他演講的某個會議,我們見面了。在那之後我們開始談論了很多想法。

Garry Tan:談話聊了些什麽?比如我真的很喜歡你對AI的想法?或者說我想要建立一個實驗室?

Sam Altman: 是的。回想起來,其中一件非常有效的事情是,我們從一開始就說,我們將在實地工作中去追求AGI——當時你不被允許這麽說,因為這似乎是不可能的、是瘋狂的,而且幾乎是不負責任的——這話引起了幾乎所有優秀年輕人的關註,以及平庸年長者的嘲笑。

這是一個非常好的跡象,而且非常有力量。我們就像「楞頭青」。我那時30歲了,可能是團隊中最年長的,但也有和這些不負責任、什麽都不想做的年輕人一樣的地方。年輕人喜歡說這些荒謬的話。當時真正吸引的人,我想是那些會說「我是大二學生,讓我們做這件事」的人。隨後我們四處奔走,一個接一個地結識盟友。這個過程斷斷續續花了九個月左右的時間。

在OpenAI的創立過程中,我印象最深刻的是,因為Ilya與谷歌存在合作關系的問題,我們在2015年12月宣布OpenAI成立,直到2016年1月才正式落地。然後大概是2016年1月3日,大家結束假期,去到Greg的公寓,有10個人。我們坐在一起,感覺就像我們做了一件劃時代的大事。每個人都說「那麽我們現在該做什麽?」這是一個多麽有趣的時刻,它讓我想起了初創公司創始人非常努力地籌集資金的時候他們會想,「哦,我做到了,我們做到了」,但其實真正的考驗才剛剛開始。

Garry Tan:那不是開香檳的時候。實際上是發令槍,說明現在我們得跑了。

Sam Altman: 你不知道比賽會有多難。我們花了很長時間才弄清楚我們要做什麽。但整個初創團隊,尤其是Ilya給我留下了非常深刻的印象。盡管這個過程充滿了曲折和變化,但我們最初的那些想法是如此正確。

我們就在Greg的公寓裏,用白板列出了我們的想法和計劃;我們做了一些有用或無用功,最終才有了我們現在的這個系統。回顧過去,我們從那裏走到這裏,一路上走了很多彎路,但最終到達了我們當初想做的目標——深度學習。

當時有三個努力的方向——弄清楚如何進行無監督學習、解決RL(Reinforcement Learning,強化學習)問題,以及將團隊人數控制在120人以內。 第三個失敗了,前兩個預測方向非常好。

03.「多即是多」,專註Scaling Law是OpenAI制勝法寶

Garry Tan:第二個目標聽起來像Scaling(縮放定律)。這在一些人看來是有些冒犯意味的異端觀念。

Sam Altman: 最開始我們的核心信念就是深度學習有效,且隨著規模的擴大而變得更好。這在當時都是有點異端信仰的。我們無法確切預知隨著規模的擴大它會有多好——幾年後才出現這種情況——但直覺告訴我們這是可行的。

當時的人們存在固有成見,認為這些神經網絡並未真正「學習」或「推理」,而只是在「玩把戲」。有一些領域內的領軍人物也這樣說。他們認為這是錯的,可能導致AI再次陷入寒冬。然而,我們目睹了模型效能的不斷提升,甚至比我們得到的Scaling結果更好,這有些打破我的直覺。我們當時就決定要繼續推進這一方向。

我們的資源遠遠少於DeepMind和其他公司。我們只需要選擇一個方向並真正集中精力。這就是我們的制勝法寶,也完全是正確的創業要點。Scaling是我一直感興趣的東西。事實證明,對於深度學習模型,我認為這是一個極度被低估的財富和應該追求的方向。 我認為,當你有疑問時,如果你有一些看起來隨著規模的擴大而變得更好的東西,你應該擴大規模。

Garry Tan:可能很多人會期待「少即是多」,但實際上對於OpenAI來說「多即是多」。

Sam Altman: 我認為關於OpenAI有一件事可能沒有得到很好的理解,那就是即使我們還很陌生,但我們有一支瘋狂而才華橫溢的研究團隊。如果你有世界上最聰明的人,你可以推動一些非常困難的事情。

Garry Tan:我聽到過一個故事,關於計算資源的存取許可權。當時業內的一些老前輩會批評你們說,你會浪費大量資源,會導致AI寒冬。

Sam Altman: 有趣的是,人們不確定我們是否浪費了資源,也不確定我們是否投入太多資源做了一些觸及道德邊界的事情。他們認為你應該分散賭註而不是篤定一個方向。世界上大多數人都不理解對一次賭註抱有相當極端的信念的價值。於是我們說,好吧,我們有了這些證據,我們相信這件事—— 在當時,通常的做法是會分散投資到多個賭註上,而我們選擇堅定地押註於這個單一目標,因為我們是明確的樂觀主義者。

有一段很長的時間,你必須甘願在沒有數據的情況下進行操作。在那一點上,你確實必須以信念為基礎。

Garry Tan:這也涉及到聚焦的問題。就像你必須做出選擇,而這個選擇更好。你沒有無限的選擇機會。所以,優先排序本身就是一項練習,它使你更有可能成功。

Sam Altman: 我希望我可以告訴你,「哦,我們確切地知道會發生什麽」。但顯然,故事的開篇是我們做了很多事情來幫助我們積累一些學科理解。我們並沒有走在捷徑上。如果我們當時知道我們現在所知道的,我們可以讓整個事情達到令人難以置信的程度。事實並非如此,你不可能每個猜測都是對的。

我們一開始做了很多假設,既有關於技術方向的假設,也有關於我們將成為什麽樣的公司、我們將如何構建AGI等方面的假設。我們總是一次又一次地失敗。但我們的優勢之一是在被打倒後能夠站起來繼續前進。

至少我不知道語言模型會成為主流。我們開始研究機器人和Agent、影片遊戲等等。幾年後,GPT-3出現了,這在當時並沒有太多跡象。

04.第一次真的知道該做什麽,路徑越來越清晰

Garry Tan:你從去年下台中學到了什麽?對一些人的離開有什麽感覺?團隊在前進演化,你又做得如何?

Sam Altman: 累,但是很好。我們的進展很快,仿佛在極短的時間內跨越了中型乃至大型科技公司通常需要十年才能達成的成長階段。ChatGPT還不到兩年,這一路上,我們歷經諸多磨難。 任何公司都會以某種速度迎來團隊變動,那些擅長從零到一的人,未必擅長從一到十或者從十到百。

在這個過程中,我們犯了很多錯誤,但也做了一些非常正確的事情。我認為公司的目標不論是構建AGI還是其他任何東西,都要在每個階段盡可能地做出最好的決策。這將帶來很多變化。我希望我們現在正走向一個更加平穩的時期,但我深知未來還會有其他動蕩。

Garry Tan:現在OpenAI是如何運作的?

Sam Altman:這是我第一次感覺我們真的知道該做什麽。 實作AGI還需要大量的工作,存在一些已知或未知的因素,但我們基本上知道該做什麽。這需要花時間,也很困難,但非常令人興奮。

我認為在產品方面還有更多需要解決的問題。但大體上我們知道要目標是什麽以及要最佳化什麽,這是一個非常激動人心的時刻。當你擁有這樣清晰的認知時,我認為你可以走得相當快。 我們的研究路徑、基礎設施路徑已經很清晰,產品路徑也越來越清晰。 我們曾經是一個真正的研究實驗室,很長一段時間都沒有這樣的認知。即便你知曉了這些方向,實際操作中也很難下定決心,因為總有太多你渴望嘗試的事情。但你能讓每個人都目標一致並攜手共進的程度,是公司發展速度的重要決定因素。

05.AGI嚴重過載,一個人加一萬個GPU創造十億美元年營收

Garry Tan:在剛結束的o1黑客馬拉松上,獲勝者之一Camphor構建了能夠不斷叠代最佳化翼型的系統,這聽起來有點像AGI第四級,也就是創新者階段。

Sam Altman: 這很有趣。我以前認為,從二級躍升到三級很快就會發生,但三級到四級的跳躍會更加困難,需要一些中型或更大模型的想法。但他們和一些其他的演示讓我相信,只要以非常有創意的方式使用現有模型,就可以獲得大量的創新。

Garry Tan:你想簡單談談第三級、第四級和第五級嗎?

Sam Altman:我們意識到AGI已經變成了一個嚴重過載的詞,人們對它的理解各不相同。 我們試圖簡單地列出一個框架,這大概是我們對事物發展順序的最佳推測。你有一級系統,也就是聊天機器人,就會有二級系統,也就是推理者。我們認為今年早些時候釋出的o1已經達到了第二級。

第三級是指的AI Agent,它擁有能夠完成長期任務的能力,比如與環境多次互動,並與人類協同工作。我認為我們會比人們預期的更快到達第三級。至於第四級創新者,它就像科學家一樣,能夠探索長期以來不太被知曉的現象並理解其本質。然後是第五級,這還沒有成型的定義,但它將為整個公司的規模、組織架構或其它任何方面帶來巨變。

Garry Tan:第五級AGI聽起來像是一個組織(Organizations)。比如說,會有一些公司每年賺取數十億美元,但員工不到100人,可能是50人,可能是20人,可能是1人。

Sam Altman: 我不知道怎麽樣去說,但我確實感覺到了這個趨勢。現在是創業公司創始人的好時機。 這就像一個人加一萬個GPU,然後它就發生了。

06.新技術平台被誇贊很容易,但不要為此沈淪

Garry Tan:對於即將開始或剛剛開始創業的人,你有什麽建議?

Sam Altman:押註這種技術趨勢。我們還沒有接近飽和點。 這些AI模型很快會變得更好。作為創業公司創始人,你能做什麽,以及沒有它你又能做什麽,截然不同。而大公司,即使是中等規模的公司,甚至是成立幾年的初創企業,它們已經不再進入季度規劃周期,而谷歌已經處於十年規劃階段。

但是 你的優勢在於速度、專註、信念以及對技術發展速度做出反應的能力。 這是初創公司有史以來的首要優勢,尤其是現在。所以我建議你們用AI構建一些東西,利用看到新事物並構建一些東西的能力,而不是將其放入季度計劃中。

我要說的另一件事是,一個新技術平台被誇贊是很容易的事。有一些創業者可能認為:「我正在做一些商業法則不適用於我的AI。我有這種神奇的技術,所以我不必建造護城河或有利競爭或更好的產品。」這顯然不是真的。

透過比別人更快地擁抱新技術,你可以在短期內得到爆炸性的成長,但記住不要為此沈淪,你仍然需要建立一些具有持久價值的東西。 我認為這也是一件值得銘記在心的事。

Garry Tan:現在每個人都可以制作一個令人難以置信的演示,但是建立一家企業仍然艱難。

Sam Altman: 規則同樣適用。你可以比以往更快、更好地做到這一點。但你仍然需要建立良好的業務。

Garry Tan:對2025年有什麽期待?

Sam Altman: 肯定是AGI。但還有另一件更讓我興奮的事,那就是我的孩子。