作者 | 雲鵬
編輯 | 漠影
2024年無疑是端側AI爆發的一年，因此產業也通常將今年看作是 「端側AI元年」。
當下，AI大模型在終端細分賽道展現出的強大生命力，各類AI產品幾乎無處不在，AI手機、AI PC、AI眼鏡，以及AIoT領域的各類AI智慧終端裝置成為當下數位和科技圈廣為熱議的關鍵詞。
根據Gartner預測，2025年AI PC全球出貨量將超過 1.14億台， 同比增長 165.5%。 另一邊，AI手機也在快速普及，根據Canalys預測，2025年AI手機的滲透率可能會接近三分之一，出貨量近 4億台。
與此同時，具身智慧機器人賽道火爆，智慧汽車領域的AI套用落地更是「卷」得飛起。
端側AI的加速落地，讓消費者感受到了不一樣的AI體驗：AI真的更「懂你」了，AI功能更加「個人化」，AI能力也更加深入系統級。端側AI的價值愈發凸顯。
根據研究人員統計預測， 端側AI市場規模將在8年後沖向1436億美元（約合人民幣10400億元），10年增長10倍。
▲2022年至2032年按終端使用者劃分的端側AI全球市場規模（單位：十億美元）
在國內AI市場，AI的發展更加百花齊放，據艾瑞咨詢測算， 2023年國內AI產業規模已經超過了2100億元，端側和邊緣AI芯片的比重也有望持續增漲。 大模型帶來的底層技術革新無疑會給端側AI產業規模增長帶來更多存量擴張與增量空間。
▲來源：艾瑞咨詢
在這樣的行業背景下，國內AI領域的玩家是走得最積極的一批，在技術落地方面推進得更加踴躍。從底層的芯片IP、芯片設計、制造到作業系統、大模型研發、終端，再到上層AI套用和服務落地， 國內AI發展有著完整的全產業鏈條，本土AI新勢力無疑有著充足的施展空間和機會。
扛起本土AI底層生態建設大旗，需要國內廠商在端側AI領域協同發力、抱團取暖。
作為產業鏈最上遊芯片IP領域核心玩家的安謀科技，剛剛在上海舉辦了一場端側AI生態研討會，聚集了從芯片、大模型到終端，從硬體、軟體、演算法到生態的各路行業頭部企業，分享最新行業趨勢，輸出前沿觀點。
安謀科技銷售及商務執行副總裁徐亞濤提到，AI未來的發展必然是多樣性的，每一類產品都面臨著AI化的挑戰， 整個產業都在被AI重塑。AI不是單打獨鬥可以搞定的，跨行業的深度合作將成為必然。
▲安謀科技銷售及商務執行副總裁徐亞濤
一、端側AI落地，一場模型與算力的「雙向奔赴」，本土AI新勢力走向前台
就在昨天淩晨，OpenAI正式釋出了Sora視訊大模型，AI大模型的叠代再進一步，從文本到影像、從多模態到視訊，大模型的發展快得令人不敢眨眼。一個不留神，可能就會掉隊。
隨著超大規模的基座大語言模型不再持續狂飆，大模型向著邊緣和端側下沈的趨勢日益明顯，AI OS、AI智慧體等概念逐漸成為行業共識，產業的關註焦點已經轉向了真正賦能行業、實作落地。
大家不再單純地看TOPS（算力），而是更關註FPS（幀數效能）和tokens（生詞速度），也就是更關註實際在套用場景中的表現。
智源人工智慧研究院副院長、總工程師林詠華提到，大模型的技術發展如今更加聚焦模態的多樣性、模型結構演算法的多樣性以及生產部署的最佳化， 大模型發展呈現出「兩極分化」的態勢：更強更大和更小更精。
據統計，數百億級以上的強大稠密模型，或10B以下的小模型更受歡迎，越來越多的小模型被釋出和下載，而端側AI的發展，顯然更側重於「更小更精」。
與此同時，一個突出的特點就是國內AI企業在AI大模型這波浪潮中一直走在全球AI產業的前列，熱門大模型中本土公司開發的模型占比很高。
尤其是 結合國內AI市場潛在規模，本土AI企業的發展潛力更是巨大的。
安謀科技市場及生態副總裁梁泉也談到了類似的觀點， 在端側AI領域，模型與算力正在「雙向奔赴」， 小參數、多模態模型的能力快速提升，而旗艦裝置的算力也已經達到50-100 TOPS。
▲安謀科技市場及生態副總裁梁泉
在端側AI的元年，雖然沒人能確切地說出端側AI的殺手級套用會是什麽，但本土AI新勢力發展端側AI已經實打實地從技術軍備競賽走向場景化落地套用。
二、本土企業領跑端側AI落地，技術創新加速湧現，生態大一統走向必然
端側AI的發展無疑正迎來一個新的「黃金時期」， 從芯片、框架、大模型到終端，整個產業鏈的各個環節都在深度參與，快速適應，不斷叠代產品和技術。與此同時， 統一生態的重要性愈發凸顯，端側AI的高效落地，必然需要彌合碎片化的生態，需要產業鏈各方的共同努力。
1、從手機、PC到汽車，芯片創新為端側AI落地提供底層基礎
在端側AI落地過程中，AI手機無疑沖在了最前面，蘋果安卓兩大生態分庭抗禮，安卓生態端，聯發科、展銳等手機芯片巨頭的AI手機芯片無一例外都是基於Arm架構打造。
紫光展銳執行副總裁兼市場部部長黃宇寧談道，端側AI如今正湧現出更多成果，包括硬體、軟體、端側大模型、端雲協同與安全技術等領域的諸多新技術的成熟都加速著AI手機的發展。
▲紫光展銳執行副總裁兼市場部部長黃宇寧
從手機AI到真正的AI手機，一個能夠自動執行復雜任務、真正懂我們的智慧裝置， AI手機的發展正邁入AI OS、AI智慧體時代。 在AI落地手機的過程中，很多廠商都明確提出了「端雲協同」的混合AI模式。
簡言之，混合AI就是將雲端的強算力與端側的個人化、低時延、高數據安全性等特點相結合，真正實作優秀的端側AI體驗。
據黃宇寧介紹，目前紫光展銳的芯片已經在三個AI典型場景中套用：全場景通用AI算力（端側AI智慧體）、多媒體專用AI算力和低功耗輕量AI算力。
基於Arm架構和生態，紫光展銳可以提供CPU、GPU、NPU以及整合的SoC這些底層算力平台，而 整個生態的構建則需要產業合作夥伴的共同努力。
黃宇寧特別提到，在端側AI落地過程中，統一生態是非常重要的，其最直接受益的就是開發者，而開發者則可以利用統一生態，把最新的演算法、模型在芯片上快速實作落地，讓使用者最終享受到好的服務。
除了AI手機，另一個端側AI落地的重要領域就是AI PC。
此芯科技生態戰略總經理周傑提到，生成式AI正在推動PC產業的第三次革命，AI給PC產業註入了新的活力，包括異構AI算力、記憶體、SLMs（小模型）、智慧體化，國內廠商都在積極擁抱端側AI。
▲此芯科技生態戰略總經理周傑
已經釋出的「此芯P1」芯片是一個高能效異構處理器，異構整合了Arm架構CPU、GPU以及安謀科技自研的「周易」NPU，此芯科技要 用異構算力去賦能多場景端側AI， 將不同的計算模組套用在不同套用負載中。
現場周傑還劇透了他們的AI PC開發套件新品Radxa Orion 06，這個開發套件搭載了「此芯P1」高能效Armv9處理器，可以基於異構算力支持主流端側生成式AI大模型和傳統CNN模型。
顯然， AI PC的發展會助力Arm架構在PC市場的崛起，Arm架構在AI PC生態有先發優勢，是手機生態的自然延伸。
同樣基於Arm架構打造AI處理器的還有愛芯元智，在愛芯元智聯合創始人、副總裁劉建偉看來，AI是穩定可靠的智慧輸出基建，是一場成本驅動型的生產力革命。
▲愛芯元智聯合創始人、副總裁劉建偉
AI的發展，帶來了新的程式範式，因此需要真正按照原生AI處理思路設計的AI處理器， 為此，愛芯元智將算子指令集與數據流DSA微架構相結合開發了相關AI處理器，可以兼顧靈活性和低能耗。
他特別提到，AI處理器的設計要軟硬體聯合設計，讓軟體編程的負擔越來越低。
2、從雲到端，模型變得「更小更強」，統一生態加速技術創新湧現
在大模型研究方面，智源人工智慧研究院、面壁智慧和vivo都是各自領域的領跑者。 端側AI的落地，離不開大模型側的技術突破和最佳化叠代。
在智源人工智慧研究院副院長、總工程師林詠華看來，未來10年，大模型必然會牽引AI走向美好的星辰大海，而在這個過程中，多元異構AI算力軟硬體生態面臨著巨大的技術挑戰。
▲智源人工智慧研究院副院長、總工程師林詠華
芯片層面軟體生態割裂、遷移成本高，而各種異構算力、多地域算力整合面臨異構算力軟體各異、軟硬體穩定性差等難題。 各個廠商私有的、碎片化的軟體生態已經成為使用者嘗試其他AI硬體時的最大障礙。
為多元異構AI芯片打造統一、開放、協作的軟體生態系就顯得尤為重要，這也是智源人工智慧研究院基於開源的Triton語言打造統一的軟體層、打造面向國產AI芯片的軟硬體生態系的目的所在。
Triton編譯器可以支持Arm生態芯片，基於Triton算子庫及編譯器可以獲得開發效率、效能效率上的雙重優勢。
林詠華特別強調了統一生態的重要性， 當上層有統一生態的時候，就會有更多軟體技術層面的突破湧現，這對於整個產業都有重要的積極意義。
面壁智慧聯合創始人&CTO曾國洋重點分享了自家面壁小鋼炮系列大模型的最新進展，其 「以小博大、高效低成本」 的特點剛好印證了林詠華對於大模型趨勢的判斷。
▲面壁智慧聯合創始人&CTO曾國洋
MiniCPM 3.0一個4B大模型，可以獲得ChatGPT級基礎效能，量化後記憶體占用僅有2GB，最新端側多模態大模型 MiniCPM-V 2.6 8B模型則可以單圖、多圖、即時視訊全維度超越GPT-4V。
未來，大模型知識密度會隨時間呈指數級增長，而端側算力目前總量巨大亟待啟用，存量手機終端算力總規模超過7100 EOPS，端側AI市場勢能強勁，「把大模型放到離使用者更近的地方」，就是面壁智慧未來核心要做的事情。
同樣把大模型做得「小而美」的還有vivo。
作為手機終端巨頭，vivo在自研大模型方面一直跑在行業前列，今年其自研的藍心端側大模型BlueLM-3B，已經在效能、功耗方面超越了原來的7B大模型，甚至可以達到雲端70B大模型80%以上的效果。
▲vivo AI規劃高級總監孟祥育
系統級總結摘要、全域書寫工具、多模態理解、vivo手機智慧體PhoneGPT（自主拆解需求、主動規劃路徑、即時環境辨識、動態反饋決策）這些端側AI能力都落地在了vivo的旗艦手機中。
目前手機端側大模型發展面臨的主要挑戰，是記憶體、效能、功耗與模型效果之間的平衡，在vivo看來，3B大模型是端側模型的黃金尺寸。 未來如何更高效地更充分地利用芯片算力，在小參數模型上實作更好的端側AI體驗， 是手機廠商們努力的方向。
3、MNN提升大模型部署效率，ODM大廠重點布局軟體做好「連線」
在芯片和大模型之間， 推理框架層面的技術叠代也十分關鍵，可以說起到了大模型在端側落地的「催化劑」作用。
阿裏巴巴端側AI技術專家邢世穩重點分享了其在MNN開源框架端側大模型部署方面的探索。
▲阿裏巴巴端側AI技術專家邢世穩
簡單來說，MNN是輕量級深度學習推理引擎，涵蓋了AI模型圖最佳化、轉換、高效執行，其核心要解決的就是模型在各類裝置上高效部署執行的問題，尤其是行動裝置。
同樣在「連線」方面具有獨特價值的是作為ODM大廠的六聯智慧，其產品中心副總經理&產品總監張曉軍提到，六聯智慧的目標是提供端側AI全場景硬體解決方案，他們最近成立了專門的軟體團隊， 連線處理器廠商和演算法廠商，做更好的整合，打通「最後一公裏」。
▲六聯智慧產品中心副總經理&產品總監張曉軍
目前，從個人10B到家庭/小企業10-100B，再到中大型企業100B+，六聯智慧都有全場景端側AI解決方案，包括AI PC、AI工作站和伺服器。
4、立足自研NPU，異構計算+混合AI成為行業最優解
可以看到，端側AI已經成為整個AI產業都在重點布局的領域，而 安謀科技在扛旗推動AI生態建設的同時，也基於自身的本土創新能力，推出了「周易」自研NPU，並從異構計算的角度進一步加速端側AI的落地，給行業提供新的解法。
安謀科技NPU產品總監鮑敏祺在會上提到，手機、平板、PC國際大廠紛紛釋出各種套用，但當前以實際AI模型使用體驗來說仍然不理想，國內AI演算法模型套用生態仍然沒有規模的商業落地。
▲安謀科技NPU產品總監鮑敏祺
端側AI的叠代非常快，從高頻度的演算法更新、計算模式最佳化、容量需求提升到算力要求提升，算力需求隨著大模型多模態套用而持續增加，而大模型對NPU IP硬體也提出了新的需求。
針對這些需求和挑戰，安謀科技新一代「周易」NPU專門對transformer進行了最佳化，其涵蓋了軟硬體方案以及深入的系統考量，在功耗、面積、效能方面形成優勢，可以說是基於軟硬協同來應對未來套用場景。
正如前文所說，在端側AI的發展過程中，算力和模型呈現雙向奔赴的趨勢，而在這個過程中，挑戰也很多， 異構計算與混合AI的方式，可以更充分地利用端側算力，已經成為業內公認的最優解。
三、既懂技術又懂市場，本土AI生態圈的「扛把子」不是一天煉成的
可以看到，從手機、PC、汽車到整個物聯網AIoT，包括智慧家庭、無人機、智慧工廠、機器人、智慧監控、智慧零售、智慧穿戴，幾乎各個產業都可以為AI所賦能。
芯片企業、大模型企業、終端巨頭，產業鏈上下遊各方也都在積極行動，探索合作共建的端側AI生態之道。在這一確定的方向上，安謀科技的產業價值不言自明。
一方面，安謀科技在NPU、軟體、異構計算平台等方面做好了解決方案級的技術布局，另一邊其成為聯合國內本土客戶構建端側AI生態的最核心推手。
就在今天的研討會上，「AIPC和EdgeAI聯合實驗室」正式揭牌，這是一個由安謀科技牽頭發起，聯合產業多方共同搭建的AI平台，核心就是要做本土的AI生態建設、社群發展和技術營運，進而給端側AI的落地添柴。
實驗室會聚焦PC與Edge領域，探索AI生態和套用場景，跟產業鏈合作夥伴一起去構建本土的技術生態。當然，這也是國內廠商對接Arm全球生態的一個關鍵平台。
其實，透過現場與會者的發言，在筆者看來安謀科技牽頭來組這場端側AI的交流分享局的立足點可以用以下幾個關鍵詞概括：
一是 「連線」。 一邊是完整的自研業務產品和本土市場服務能力，一邊是Arm成熟技術標準和生態體系，從Arm通用IP到自研產品，讓其可以透過更靈活的產品組合和形式去對接、賦能產業。
二是 「上遊」。 作為本土AI產業鏈上遊的獨特視角是其有別於其他端側AI組局者的另一個核心標簽，可以站得更高看得更遠，對技術趨勢的判斷也更加前瞻和精準。
三是 「本土」。 作為一家本土企業，對於本土AI市場的實際需求、關鍵痛點都有著更精準的把握，所進行的本土技術創新也更有針對性。
這些都是安謀科技在今天國內AI產業中的不可替代之處。
正如安謀科技市場及生態副總裁梁泉所說，在端側AI的落地過程中，很多問題往往需要既懂模型、又懂底層軟硬體的人才能解決，這對於廠商來說挑戰很大。
但同時這些問題又有著共性，建立一套統一的軟體生態，意義十分重大，安謀科技的一系列動作恰恰就是要幫助企業解決這些挑戰。
據了解，目前已有智源人工智慧研究院、紫光展銳、愛芯元智、六聯智慧、系微軟體、此芯科技、億道數位、輝羲智慧、面壁智慧、零一萬物、中科加禾、瑞莎電腦等十幾家正式加入AIPC和EdgeAI聯合實驗室，上海漕河涇開發區則為該實驗室提供相關產業支撐。
安謀科技在推動端側AI生態建設方面，無疑又邁出了關鍵一步。
結語：瞄準未來萬億市場，本土AI產業有望持續引領
從2018年成立至今，從承接Arm技術和生態賦能產業，到多條自研產品線的持續叠代。透過一手連線Arm生態，一手耕耘國內市場的獨特站位，安謀科技持續致力於給本土AI發展提供更具針對性的軟硬生態協同的一體化解決方案。
而伴隨著Arm計算平台面對AI時代的穩步深耕， Arm架構成為未來AI計算的基礎，已經成為必然趨勢。 我們也期待看到在本土端側AI產業鏈上下遊玩家們的通力協作下，本土AI產業在產品研發、技術創新和市場培育上多元發力，以更加迅猛的加速度，朝著萬億規模持續進發。
