當前位置: 華文星空 > 心靈

互動電影、視訊合成!商湯打破「大模型+」想象

2024-10-01心靈

IT時報記者 孫妍

近年來,杭州正在打造「數位經濟第一城」。本周,杭州迎來一年一度的全球數位貿易博覽會(下稱「數貿會」)。

本屆數貿會,商湯日日新SenseNova 5.5大模型體系獲評第三屆全球數位貿易博覽會先鋒獎(DT獎)。商湯元蘿蔔國象機器人煥新亮相,基於「日日新5.5」大模型的一系列原生套用和行業成果,展現了「大模型+」革新產業發展、家庭生活的想象力。

混合現實與生成式AI的碰撞

互動電影、VR體驗館、視訊合成,混合現實和生成式人工智慧的融合,會不會帶來VR等產業的真正繁榮?

本屆數貿會上,由杭州市商務局、增強現實核心技術產業聯盟(CARA)主辦,商湯科技等單位聯合承辦的「混合現實與生成式人工智慧產業對接會」就探討了兩種技術融合帶來的機遇與挑戰。

商湯科技聯合創始人、首席科學家,CARA聯盟理事長王曉剛指出,混合現實和生成式人工智慧飛速發展,正處在一個技術革新的歷史交匯點,面臨著機遇和挑戰。增強現實核心技術產業聯盟將持續發揮橋梁和紐帶作用,持續強化與技術企業、研究機構、政府以及投資方的合作,推動技術與套用場景的結合,同時引導和推動行業標準制定,提高產業整體水平胡競爭力。

CARA聯盟副理事長章國鋒教授表示,混合現實產業已形成從硬體、軟體到內容工具的完整圖譜,但也面臨演算法和工具零散、缺乏統一標準等問題。而上海人工智慧實驗室、浙江大學與商湯科技聯合釋出的OpenXRLab擴充套件現實開源平台,旨在一站式解決擴充套件現實領域的演算法需求,推動混合現實技術的進一步發展。

混合現實和生成式AI到底能碰撞出什麽產物?商湯體感動作型大空間VR解決方案在本次論壇上釋出,打造「未來的互動式電影」。該方案不僅套用了裸手互動、全身感知、多人互動等關鍵技術,還提供真人體征Avatar互動、Vlog精彩視訊合成等功能,並相容各類動感載具。目前,該解決方案已用於【三體·絕處逢生】沈浸式科幻體驗館,帶來精彩、刺激的VR互動體驗。

本次會議還發起並成立IEEE空間計算標準工作群組。工作群組的成立,將圍繞包括三維註冊、三維重建、環境感知、使用者感知、人機互動、空間數據管理等在內的空間計算的核心技術開展標準攻關,並針對基礎通用、行業套用、安全與私密等方面開展相應的標準研究。

煥新產業發展、革新生活體驗

商湯科技元蘿蔔AI下棋機器人又多了一位新成員,在數貿會展區,商湯展出了元蘿蔔國象機器人,這是元蘿蔔繼「象棋版」和「圍棋版」之後的最新成員。它是全球首款基於機械臂抓取3D立體棋子的西洋棋機器人,首次在家用機器人上實作了透過機械爪拾取立體棋子,並擁有人機對弈、人人對弈、記譜復盤等多種功能,是廣大西洋棋愛好者和學棋兒童陪練、漲棋的新夥伴。

從國內第一個在互動體驗上對標GPT-4o,可進行即時流式多模態互動的「日日新5o」,到每台裝置使用成本僅需每年9.9元的端側大模型,商湯「日日新」一直在向普惠發展,畢竟要讓老百姓用得起,「大模型+」才能做得更好。

「大模型+」有什麽玩法?商湯展示了基於日日新的商量、商量-擬人、秒畫、如影數位人、可控人物視訊生成演算法模型Vimi、格物、瓊宇,以及「小諾古力家族」等原生套用,為各行業打造生產力和創造力兼備的內容創作工具。

目前,商湯「小諾古力家族」已為數十萬使用者提供數十億次智慧輔助服務。其中,程式碼小諾古力可助力開發者駕馭各類軟體與程式碼需求,辦公小諾古力則讓每一個人都能化身數據分析師、文件處理專家。

由商湯醫療大模型驅動的「SenseCare智慧醫院」綜合解決方案,以及商湯絕影智慧駕駛、智慧座艙和 AI 雲多元產品體系也悉數亮相,展現「大模型+行業」的深度與廣度。

目前,商湯日日新大模型體系已服務超過3000家客戶,覆蓋互聯網、醫療、金融和編程等眾多垂直行業,並將繼續以「大模型+」為支點,為各行業數位經濟發展構建創新底座。