當前位置: 華文星空 > 心靈

邁出「登月」第二步:Kimi比肩OpenAI o1最新技術,楊植麟聚焦做減法

2024-11-17心靈

正如這家公司的名字一般,月之暗面,總是一個令人好奇的存在。11月16日下午,在Kimi Chat上線一周年之際,公司創始人楊植麟罕見現身,在多家媒體面前走出了「登月」第二步。

「如果說長文本是月之暗面‘登月’的第一步,那麽提升模型深度推理能力則是第二步。」身穿一件黑色公司文化衫的楊植麟釋出了新一代數學能力可對標OpenAI o1系列的數學推理模型k0-math。

當新模型在眾人面前進行數學題「測試」時,這位原本略顯羞澀的90後「創業明星」終於來到了自己的主場,看著數碼、公式一行行地彈出,興奮地講解著其中的原理。

據介紹,該款模型是Kimi推出的首款推理能力強化模型,采用了全新的強化學習和思維鏈推理技術——這與楊植麟對行業技術發展的判斷方向一致,「接下來最重點的東西會在強化學習上,範式上會產生變化,它還是Scaling(擴充套件),只是透過不同的方式去Scale」。

在k0-math的表現方面,月之暗面方面披露,在中考、高考、考研以及包含競賽題的MATH等數學基準測試中,k0-math初代模型成績已經超過o1-mini和o1-preview模型。

「(k0-math的釋出)大概率能說是,在OpenAI o1釋出後,國內首個摸索出並實作o1思路的公司。」一位國內頭部互聯網公司的大模型技術人員在接受【每日經濟新聞】記者采訪時表示,「現在國內想要趕超o1的大模型團隊都會以數學領域為第一步,因為不需要大量的標註數據,成本最低,而且有可驗證的標準答案。」

月之暗面的下一步是什麽?「Kimi目前最核心的任務是提升留存。」楊植麟在接受【每日經濟新聞】記者采訪時表示,「基本上它跟你的技術成熟度或者技術水平也是一個正相關的關系,所以對我們當前來說是最重要的。假設我們以最後AGI這個目標作為衡量,我覺得現在還在初級階段。」

釋出會數據顯示,截至今年10月,Kimi的月活已超3600萬人,而且數據在持續增長。

釋出會現場 圖片來源:公司提供

「接下來重點在強化學習」,Kimi釋出對標o1系列數學模型

釋出會上,月之暗面公布了k0-math的目前測評得分:在業界最常使用的數學能力基準測試MATH中,k0-math模型得分93.8分,超過o1-mini的90分和o1-preview的85.5分,且k0-math這一成績僅次於o1完全版的94.8分。

「什麽樣的場景最適合讓AI鍛煉思考能力?我們認為是數學場景。」釋出會現場,楊植麟表示,在訓練該模型的過程中,最重要的是看其是否真正具備深度思考的能力。

據介紹,相較於以盡快提供答案為關鍵目標的常規模型,k0-math模型在做題過程中會花更長的時間來推理,包括思考和規劃思路,並且在必要時自行反思改進解題思路,提升答題的成功率。

不過,楊植麟也指出,雖然k0-math模型擅長解答大部份很有難度的數學題,但是目前版本還無法解答LaTeX格式難以描述的幾何圖形類問題。此外,它可能會存在對「1+1=?」這樣過於簡單的數學問題進行過度思考,對於高考難題和IMO(國際數學奧林匹克競賽試題)依然有一定概率做錯、猜答案之類的局限性。

根據月之暗面的介紹,k0-math模型采用了全新的強化學習和思維鏈推理技術,這也是業內普遍認為OpenAI o1系列的技術關鍵所在,行業範式也在因此發生著改變。

「AI的發展就像蕩秋千,我們會在兩種狀態之間來回切換:有時候,演算法、數據都很ready了,但是算力不夠,我們要做的就是加算力;但今天我們發現,不斷擴大算力規模已經不一定能直接解決問題了,所以這時就需要透過改變演算法,來突破這個瓶頸。」楊植麟表示。

對於業內對Scaling Law(規模定律)逐漸放緩的看法,楊植麟認為,預訓練還有空間,大概半代到一代的模型,這個空間會在明年釋放出來,「明年,我覺得領先的模型會把預訓練做到一個比較極致的階段」。

「但我們判斷,接下來最重點的東西會在強化學習上,就是範式上會產生一些變化。本質上,它還是Scaling,並不是不用Scale,只是說你會透過不同的方式去Scale,這是我們的判斷。」他表示。

同時,他指出,該數學推理模型的推出,一方面在教育產品、Kimi整體的流量裏有非常大的價值;另一方面,該模型上的技術可以放在更多場景裏,比如讓Kimi探索版去做更多的搜尋。

「最核心的是提升留存」,Kimi選擇做減法

在今年6月的一次媒體采訪中,楊植麟多次以「聚焦」作為對創業思路、成功經驗的回應,「在技術和產品上可能我們都希望更加聚焦」,「因為你如果什麽東西都做了,可能最後也很難做好」。

不久前,有訊息稱月之暗面幾位出海產品負責人已於近期離職創業。此外,今年9月,月之暗面決定停止更新兩款已上線的出海產品——Ohai和Noisee,暫時收縮了出海to C套用。

在釋出會現場,楊植麟間接回應了上述市場傳言:「我們沒有人才流失,我們主動做了業務減法。」

這一思路的確定在今年春天,楊植麟觀察了月之暗面的具體發展並對美國市場進行了判斷,得出結論:的確得做減法,而不是瘋狂做加法。

「我們一開始嘗試過幾個產品一塊做,這在一定時期內奏效,但後來發現,這樣就活生生把自己變成大廠了,沒有任何優勢。」楊植麟將釘選「聚焦」視為過去一年較大的課題,「砍業務本質上也是在控制人數。這幾個大模型創業公司裏,我們始終保持人數最少,始終保持(顯)卡和人的比例最高,這非常關鍵。我們不希望團隊擴那麽大,(擴大)對創新有致命性傷害。另外我們也會根據美國市場的情況,判斷哪個業務做大的概率更高。」

聚焦Kimi,當下楊植麟認為最為核心的任務是什麽?他在接受【每日經濟新聞】記者采訪時給出了答案:提升留存,「(令自己滿意的留存)永無止境」。

「因為留存是技術成熟的重要指標,並且(現在的留存)還有非常大的提升空間。我們的模型能力跟產品指標是高度相關的。」他解釋,「目前我們的模型可能思考能力還不夠強,互動還不夠豐富,我們把這些東西做得更好之後,留存會進一步上升。」

第三方機構QuestMobile釋出的【中國流動互聯網2024年秋季報告】顯示,截至2024年9月AIGC App月度活躍使用者同比增長393.9%,豆包、文小言、Kimi智能助手App月活使用者分別達到4197.6萬人、1191.5萬人和1024.8萬人,活躍使用者3日留存率分別為39.1%、31.2%和32.2%。

在釋出會上,楊植麟表示,截至2024年10月,Kimi的月活已超3600萬人,而且數據在持續增長。

在行業的多模態進展方面,界面新聞曾報道,Runway聯合創始人曾在11月9日公開表示,OpenAI計劃在大約兩周內釋出Sora。

對此,楊植麟透露,內部幾個多模態的能力在內測,「關於多模態,我覺得AI接下來最重要的是思考和互動這兩個能力。思考的重要性遠大於互動,不是說互動不重要,我覺得思考會決定上限,互動是一個必要條件,比如說vision(視覺)的能力,如果沒有vision的能力沒法做互動」。

在Open AI出新牌後,Kimi又一次成為國內第一個「跟牌者」,在這場焦灼的牌局中,楊植麟和月之暗面拿出了留到最後的野心。

每日經濟新聞