當前位置: 華文星空 > 心靈

對話無問芯穹CEO:預計3~5年內盈利,端側大模型芯片IP明年落地

2024-09-04心靈

作者 | ZeR0
編輯 | 漠影

智東西9月3日報道,昨日,清華系AI Infra創企無問芯穹宣布完成近 5億元 A輪融資,累計融資接近 10億元 。融資新訊公布後,無問芯穹CEO夏立雪、無問芯穹戰略營運SVP王夢菲與智東西等媒體進行深入交流。

據透露,無問芯穹 今年已有一些規模化收入 ,主要來自銷售算力,明年會進一步擴大市場份額。經其內部測算,無問芯穹預計將在 3到5年內實作盈利 。針對端側大模型和芯片布局,其端側大模型推理處理器LPU將以IP形式,與合作夥伴做聯合的芯片釋出, 計劃明年有一些落地嘗試

談到IPO,王夢菲說,無問芯穹剛剛成立一年零四個月,所以還 沒有具體的IPO計劃 。無問芯穹是一個 純內資結構 的公司,自成立起始終秉持著完成國家大戰略的方向來努力構建能力,因此 未來希望在境內IPO

無問芯穹於2023年5月在上海成立,由清華大學電子工程系教授、系主任汪玉教授發起,汪玉的第一任博士畢業生夏立雪擔任聯合創始人兼CEO。

該公司以「釋放無穹算力,讓AGI觸手可及」為使命,致力於成為大模型時代首選的「 算力營運商 」。百度、智譜AI、聯想、小米、軟通高科等知名企業均是無問芯穹的投資方。

其業務以大模型能效最佳化工具包為核心,向下聯動多家國產芯片公司,向上服務大模型演算法企業(透過智算雲服務、智算一體機等方式),協同算力、演算法、生態,推動行業大模型的高效落地。

一、解決算力荒難題,要把算力服務標準化

夏立雪說,無問芯穹的初心是 解決國內算力不足的問題 ,給市場增加了一些大家原本沒有用好、或者沒有想到可以用的算力資源,幫助合作夥伴節省算力資源占用情況,並提高新建AI基礎設施的易用性和平台能力。

例如,無問芯穹已幫助一家互聯網客戶將一個大模型推理場景的算力成本降低 90%

據王夢菲分享,目前市場上是M種模型與N種芯片共存的生態,彼此適配會帶來很多不便捷,要將算力變成像水電煤一樣的標準資源,中間需要營運商的角色。

她解釋道,無問芯穹自我介紹時之所以會選擇「 算力營運商 」,而不是「AI Infra」,是因為其團隊認為國內AI Infra往往被理解為單點最佳化工具或軟體,但過往很多實踐證明這類商業模式存在一些難題,客戶真正想要的是一種 已經最佳化完善、隨插即用 的算力服務。

因此,無問芯穹將工作定位為 一步到位地滿足客戶需求,減少他們對技術細節差異的理解負擔

「我們希望的是致力於把算力做到足夠的標準化,降低客戶使用算力的難度和門檻。這也是我們跟市面上其他AI Infra的一些初創公司從願景上的區別。」王夢菲說。

「我們並不刻意強調在某一子技術領域的獨特能力或與他人的差異。」夏立雪補充道,無問芯穹作為營運商,持續吸納並整合最前沿的技術,核心目標是 提升使用者的使用體驗,透過最佳化易用性和降低成本,來不斷拓展市場規模

在他看來,無問芯穹擁有的軟硬體協同最佳化、多芯片統一排程等優勢,只是實作目標的環節之一,最終 打通產業鏈上下遊 才是公司的核心價值。

二、商業模式類同雲廠商,預計3~5年內規模化盈利

王夢菲談道,無問芯穹當前是一個比較 輕資產營運 的公司,上遊主要是智算中心,與雲廠商的關系以合作為主。

其做算力營運的商業模式非常清晰,與雲廠商類似,有算力納管的IaaS層、算力營運和排程的PaaS層、面向套用廠商的MaaS層,包括如何去上遊整合資源、將技術能力轉換為標準化產品、進行單位化定價和售賣,盈利能力與AI市場繁榮程度以及公司的市場份額高度掛鉤。

與做大模型、做芯片的企業相比,無問芯穹不是一個特別燒錢的公司。據王夢菲透露,透過謹慎測算,無問芯穹預測將在 3到5年內能夠規模化地實作盈利

據無問芯穹此前披露,其基於多元芯片算力底座打造的Infini-AI異構雲平台,向下相容多元異構算力芯片,現已營運的算力覆蓋全國 15座 城市。

自平台上線以來,已有 Kimi、LiblibAI、獵聘、生數科技、智譜AI 等多個大模型行業頭部客戶在Infini-AI異構雲平台上穩定使用異構算力,並使用無問芯穹提供的大模型開發工具鏈服務。

三、煉出千卡異構混訓系統,支持6種AI芯片兩兩組合

夏立雪說,目前國內很多算力、硬體沒有被很好地發揮出效能,因此無問芯穹重點攻關MxN核心技術,讓不同模型能在各類硬體上高效部署,在演算法與算力之間形成最佳軟硬體最佳化協同。

無問芯穹在今年7月釋出了大規模異構分布式混合訓練系統HETHUB。這是 業內首次 華為昇騰、天數智芯、沐曦、莫耳執行緒、AMD、NVIDIA 共6種AI芯片組合間實作了 千卡規模 的異構算力混合訓練,集群算力利用率最高達到 97.6% ,平均高出基準方案約 30% 。這意味著在相同的多元芯片機房條件或者集群條件下,無問芯穹可將訓練總時長壓縮 30%

混合訓練是指多種AI芯片同時訓練一個大模型。無問芯穹做到了6種芯片中任意兩種組合混訓,每一張卡之間都緊密配合,只用大約1個月就能完成一個綜合的大模型訓練,所用時長顯著少於其baseline所需的兩到三個月。

夏立雪告訴智東西,異構混合訓練需求主要來源於三類客戶:

第一,以一些有政企背景的客戶為主,自建有地方集群,同時要考慮支持國產卡,需要借助混訓能力來將集群效率發揮到極致。

第二,已經在用多種算力資源的客戶。國內高品質算力資源有限,很多集群使用了先進算力+國產算力的組合。一些大模型客戶已使用這樣的集群,使用方式是把不同的硬體拆成了兩個集群來使用。

第三,偏研究型的單位,同樣有異構混訓需求。

他進一步解釋說,要實作異構集群高效配合,需攻關很多技術難點來保證效率和穩定性,使集群效果能夠達到商業化水平。

其難點首先在於不同的卡有不同的算子庫,每一個卡跑起來有很多技術例項,而無問芯穹能夠把不同的模型和硬體直接連線;其次是對GPU效能的預測,透過任務拆分,讓這些硬體能夠各司其職,並在通訊上實作很好地協調。這些都是無問芯穹團隊所擅長的、所積累的硬核技術。

「我們把這個硬骨頭啃下來,為的是能夠透過這樣的方式,讓更多的人能夠把沒有被用好的異構算力用起來,從而真正讓未來大模型領域有充裕的算力可以被使用。」夏立雪說。

結語:與國內硬體廠商、大模型公司密切合作

目前無問芯穹與部份國內硬體廠商、大模型公司均有深入合作,一方面能跟進模型快速變化,另一方面能提供適配於未來需求的、更好用的算力資源。

據夏立雪分享,無問芯穹首先會服務好做大模型訓練的客戶,因為它們的算力消耗量相對更大,同時也會針對一些未來有發展潛力的AI套用場景做足技術儲備。