圖片系AI生成
在AI技術體系中,深度學習框架處於「承上啟下」的位置,南向使能多樣化算力,北向孵化各類演算法模型,是大模型產業必不可少的環節。在全球層面,TensorFlow 和 PyTorch占據先發優勢,中國市場也不例外,但是華為推出的昇思MindSpore和百度推出的飛槳PaddlePaddle等國產力量正在加速追趕。
在12月14日舉辦的昇思人工智能框架峰會上,18家單位釋出基於昇思的原生開發大模型成果,據預測,中國AI框架2024年新增市場昇思份額將達30%。
華為ICT戰略與業務發展部總裁彭紅華表示,人工智能框架是AI時代的作業系統與軟件底座,領先的AI框架需要同時具備「更高效、更敏捷、更開放」的技術與生態能力,未來華為將持續投入昇思MindSpore,堅持以開源的方式,促進中國人工智能框架生態健康、高速發展。
大模型如何改變深度學習框架
智譜AI CEO張鵬在會上表示,去年大家談得更多的是需要卡、需要算力、需要的是硬件,今年算力問題有所緩解,其中尤其是華為昇騰的努力。現在有了硬件資源,如何把動輒價值千萬元人民幣的硬件資源用好,主要依靠AI大模型訓練的框架和infra(基礎設施)。
現階段最關鍵的是提升大模型的訓練效能,這是整個行業的優先考慮事項,需要深度學習框架的不斷改進,讓軟件更好地適配硬件和上層演算法。
「相比於國外發展了十年,甚至更長時間的框架,昇思做了很多工作,智譜也配合增強了分布式並列的能力,增強從訓練到推理的一致性和部署可用性。最重要的是我們把核心技術終於從0到1突破了,掌握在自己的手裏,能夠實作全棧自主創新持續的演進和創新。」張鵬說道。
他還在現場透露,智譜從2020年就開始和眾多國產生態進行合作,其中包括昇騰系列硬件,結合昇思MindSpore做完全自主創新的國產大模型訓練。
智譜AI的明星產品CodeGeeX誕生於在疫情期間,智譜和華為各自投入了幾十人團隊,分布式協作完成演算法調優、集群穩定性的維護工作、inference的構建。發展到今天,CodeGeeX已經更新叠代了四代模型。
昇思MindSpore開源社區理事長丁誠也提到,大模型技術還在跨越式演進,昇思MindSpore重點關註兩點。
第一,大模型的參數量、序列長度和模態結構繼續以指數級速度演進。對此深度學習框架要解決異構模型帶來的計算不均衡問題,超長序列帶來的記憶體爆炸問題和模型並列出現的流水線空炮問題。
第二,Open AI釋出了o1,使得計算過程從單任務、單模型走向了多工、多模型,深度學習和強化學習相融合的方式,對此深度學習框架需要解決多模型協同互動下的復雜編程問題,推理和強化學習任務的混合部署和排程問題,訓推權重的線上轉換,並列策略的動態調整問題。
開源4年份額達30%,昇思成為發展最快AI框架
開源是昇思快速追趕先進框架的主要策略,典型如大模型爆發帶來了新的需求,昇思從社區論壇收集到3700多個技術問題,再針對性做技術預研和規劃。中國工程院院士何友表示,昇思作為自主創新的AI框架,在大模型時代的開源實踐尤為重要,甚至有些指標可以和國際媲美。
彭紅華提到,未來昇思主要面向三個層面演進,在開發者編程體驗方面,昇思相容業界主流生態,提供一致開發體驗,持續降低遷移學習成本;
在大模型訓練方面,提供更豐富的分布式並列策略,結合自動搜尋仿真調優,為大模型訓練節約端到端成本;
面向最新類o1模型帶來的技術挑戰,完善多模型多工排程、訓推無縫轉換能力,強化學習親和架構,加速類o1模型演進升級;面向AI for Science場景,昇思持續升級底層函數語言程式設計體驗,並打造高效能AI for Science使能套件,聯合行業使用者、科研機構、學術專家共同加速科研創新,推動科技進步。
現場公布的數據顯示,昇思MindSpore自2020年開源以來,目前已孵化、支持50多個國內外主流大模型;開源版本已累計獲得1100萬次下載,覆蓋全球130多個國家和地區的2400多個城市;3.7萬多名開發者參與社區貢獻。
此外,昇思與360多所高校科研院所展開教學及科研合作,聯合1700多位生態夥伴,打造超過2000+解決方案;PaperwithCode網站顯示,支持基於昇思原創論文發表累計超過1700篇,位列全球第二、中國第一。據預測,中國AI框架2024年新增市場昇思份額將達30%。 (本文正選於鈦媒體APP,作者 | 張帥,編輯 | 蓋虹達)