当前位置: 华文星空 > 心灵

互动电影、视频合成!商汤打破「大模型+」想象

2024-10-01心灵

IT时报记者 孙妍

近年来,杭州正在打造「数字经济第一城」。本周,杭州迎来一年一度的全球数字贸易博览会(下称「数贸会」)。

本届数贸会,商汤日日新SenseNova 5.5大模型体系获评第三届全球数字贸易博览会先锋奖(DT奖)。商汤元萝卜国象机器人焕新亮相,基于「日日新5.5」大模型的一系列原生应用和行业成果,展现了「大模型+」革新产业发展、家庭生活的想象力。

混合现实与生成式AI的碰撞

互动电影、VR体验馆、视频合成,混合现实和生成式人工智能的融合,会不会带来VR等产业的真正繁荣?

本届数贸会上,由杭州市商务局、增强现实核心技术产业联盟(CARA)主办,商汤科技等单位联合承办的「混合现实与生成式人工智能产业对接会」就探讨了两种技术融合带来的机遇与挑战。

商汤科技联合创始人、首席科学家,CARA联盟理事长王晓刚指出,混合现实和生成式人工智能飞速发展,正处在一个技术革新的历史交汇点,面临着机遇和挑战。增强现实核心技术产业联盟将持续发挥桥梁和纽带作用,持续强化与技术企业、研究机构、政府以及投资方的合作,推动技术与应用场景的结合,同时引导和推动行业标准制定,提高产业整体水平和竞争力。

CARA联盟副理事长章国锋教授表示,混合现实产业已形成从硬件、软件到内容工具的完整图谱,但也面临算法和工具零散、缺乏统一标准等问题。而上海人工智能实验室、浙江大学与商汤科技联合发布的OpenXRLab扩展现实开源平台,旨在一站式解决扩展现实领域的算法需求,推动混合现实技术的进一步发展。

混合现实和生成式AI到底能碰撞出什么产物?商汤体感动作型大空间VR解决方案在本次论坛上发布,打造「未来的互动式电影」。该方案不仅应用了裸手交互、全身感知、多人互动等关键技术,还提供真人体征Avatar交互、Vlog精彩视频合成等功能,并兼容各类动感载具。目前,该解决方案已用于【三体·绝处逢生】沉浸式科幻体验馆,带来精彩、刺激的VR互动体验。

本次会议还发起并成立IEEE空间计算标准工作组。工作组的成立,将围绕包括三维注册、三维重建、环境感知、用户感知、人机交互、空间数据管理等在内的空间计算的核心技术开展标准攻关,并针对基础通用、行业应用、安全与隐私等方面开展相应的标准研究。

焕新产业发展、革新生活体验

商汤科技元萝卜AI下棋机器人又多了一位新成员,在数贸会展区,商汤展出了元萝卜国象机器人,这是元萝卜继「象棋版」和「围棋版」之后的最新成员。它是全球首款基于机械臂抓取3D立体棋子的国际象棋机器人,首次在家用机器人上实现了通过机械爪拾取立体棋子,并拥有人机对弈、人人对弈、记谱复盘等多种功能,是广大国际象棋爱好者和学棋儿童陪练、涨棋的新伙伴。

从国内首个在交互体验上对标GPT-4o,可进行实时流式多模态交互的「日日新5o」,到每台设备使用成本仅需每年9.9元的端侧大模型,商汤「日日新」一直在向普惠发展,毕竟要让老百姓用得起,「大模型+」才能做得更好。

「大模型+」有什么玩法?商汤展示了基于日日新的商量、商量-拟人、秒画、如影数字人、可控人物视频生成算法模型Vimi、格物、琼宇,以及「小浣熊家族」等原生应用,为各行业打造生产力和创造力兼备的内容创作工具。

目前,商汤「小浣熊家族」已为数十万用户提供数十亿次智能辅助服务。其中,代码小浣熊可助力开发者驾驭各类软件与代码需求,办公小浣熊则让每一个人都能化身数据分析师、文档处理专家。

由商汤医疗大模型驱动的「SenseCare智慧医院」综合解决方案,以及商汤绝影智能驾驶、智能座舱和 AI 云多元产品体系也悉数亮相,展现「大模型+行业」的深度与广度。

目前,商汤日日新大模型体系已服务超过3000家客户,覆盖互联网、医疗、金融和编程等众多垂直行业,并将继续以「大模型+」为支点,为各行业数字经济发展构建创新底座。