编辑:编辑部
【新智元导读】Sora再次给全世界带来亿点点震撼!首批导演、艺术家们与Sora合作的视频短片出炉了。谈及初印象,他们盛赞Sora能把不可能的想法带入现实,最惊艳的是还可以创造完全超现实的内容。
Sora给好莱坞的震撼,就在刚刚变成了现实!
几天前,「OpenAI正在向好莱坞推销Sora」的消息才刚刚传出。
而今天一早,首批拿到Sora授权的导演、艺术家们,就已经公开自己创作的最新短片了。堪称神速!
OpenAI为之配文——Sora初印象。
Hollywood,果然一夜之间变Sorawood。
OpenAI联创Greg转发了最经典的一个励志小短片——气球人。
有网友称,「Sora会把每个人都变成Steven Spielberg,它将永远颠覆好莱坞」!
还有人表示,「我的初步收获是:(人类)创意方向是关键,而Sora的魔力在于将超现实带入生活。我们是否正在进入下一个新达达主义时代」?
Sora最新短片,究竟有多震撼?
我们来一一感受下。
害羞的孩子:「气球人」鸡汤短片
第一部是关于「气球人」的励志故事短片。
仅用1分21秒向人们传递了满满的正能量——「每个人都有那么一点儿独特之处,让他们与众不同」。
镜头场景由小拉大,一位男子慢慢走向自行车,骑着车走在路上,直到视频20秒的时,才看到男子的完整形象——「气球人」。
接下来视频中,讲述了气球人生活面对的一些挑战。
比如,「有一次,女朋友非让他去仙人掌店,给叔叔Jerry挑一份结婚礼物」。
正是「气球人」的身份,让他拥有了看世界不同视角的机会。
视频后半部分,是气球升空后,随风飘到世界各个地方去看、去听、去感受。
整个短片看下来,完全是一碗鸡汤,告诉我们「异」是上天赋予每个人的礼物,要积极面对生活。
值得一提的是,背后创作者来自一家多媒体制作公司(总部设在多伦多)的三人团队:Walter Woodman、Sidney Leeder和Patrick Cederberg。
他们分享道,「我们现在有能力扩展我们曾经认为不可能实现的故事」。
导演Walter表示,「尽管Sora在生成看似真实的事物方面表现出色,但真正让我们兴奋的是它创造完全超现实事物的能力。这是抽象表现主义的新时代」。
「来自世界各地的人们,有故事急于倾诉的人们,终于有机会向世界展示他们的内心世界了」。
金色唱片:从地球原材料,到人类生活的时间胶囊
下面是由导演Paul Trillo生成的短片。他也曾是Runway Gen-2放出之后,首批用户。
整体采用了快镜头的方式,以金属人的视角探索世界。
从海底,到现实世界商店、图书馆、金字塔、悬崖,再到接近混沌的世界,还配上了动感的音乐。
Paul Trillo是一位才华横溢的多领域艺术家、作家及导演,他的作品曾受到【滚石】和【纽约客】等知名媒体的高度评价。
他已经荣获19次「Vimeo Staff Picks」奖项,这是对Vimeo平台上最优秀短片的一种认可。
Paul表示,「与Sora合作,我第一次感觉到作为电影人的自我释放。不再受时间、资金或他人许可的限制,我能够自由地探索和尝试,以大胆和创新的方式进行创作」。
他的实验性视频作品,正体现了这种创作理念。
只有你不再简单复制旧的东西,而是创造新颖且不可能的想法时,Sora的能力才能得到最大发挥,让我们有机会见证那些原本无法实现的创意。
就在刚刚,Paul又放出了自己与Sora合作的最新短片——「金色唱片」,也算是接上一个短片的续作。
这个纪录片描述了,从地球的原材料到人类地球生活的时间胶囊。
Paul表示,制作过程是是把Sora生成的11个不同片段剪辑在一起。
网友评论道,「关于控制/保留率,你有什么可以分享的吗」?
Paul表示,「现在还不能说太多,但我可以说,它的功能与众不同,我尽了最大努力去打破它的美学风格」。
「异种生物」纪录片:飞猪来了!
再来看看,这个堪称史诗级「动物纪录预告片」。
各种你没有见过的异种生物,Sora仅凭想象,都造出来了。
猫有着鱼一样的尾巴、长颈鹿有着鹤一样的下半身、鲨鱼突然多出了与章鱼一样的触角、蜜蜂有着马头。
还有二师兄也变成了「飞猪」。
视频中,简要介绍了从第一集,到第八集,分别将要深入带你了解的异种动物。
背后的创作者Don Allen III是一位跨领域的艺术家、演说家和顾问,曾在梦工厂动画(DreamWorks Animation)开启了他的职业路程。
他曾与众多科技和娱乐巨头合作,探索混合现实、虚拟现实和AI的应用领域。
「我一直在创造增强现实中的异种生物,这些在我脑海中构思的有趣组合,现在可以更轻松地原型化,然后再将这些3D角色完整地构建并置于空间计算机中」。
Don提到,Sora非同寻常是其最大的优势,它不受常规物理规律或传统思维方式的限制。
他表示,通过与Sora的合作,他的创作重心从「技术难题转向了纯粹的创意……开启了即时可视化和快速原型设计的新世界」。
同时,Don也表示,「这让我能够更专注地投入时间和精力在更重要的地方……以及我期望我的角色所传达的情感深度」。
梦幻美人鱼
大海中3位「美人鱼」的短片,简直让人惊吓下巴。
他们身上透明,斑斓的鳞片,在太阳照射下,给人一种如梦如幻般的感觉。
Josephine Miller是伦敦Oraar Studio的联合创始人及创意总监。该工作室专注于3D视觉、增强现实和数字时尚的设计。
「Sora让我能够实现多年来一直梦想,但技术上无法实现的创意」。
「这种快速将想法以高品质进行创意概念化的能力,不仅对我的创作过程构成了挑战,也促使我在讲故事的艺术上不断改进。Sora让我能够在更少的技术限制下,将想象力转化为现实」。
用AI探寻人性
艺术家Alexander Reben在过去十年,深入到了一项独特的探索中:通过AI挖掘人性中的幽默与荒谬。
他还手动将AI生成的图像转换成三维模型,并将这些模型具象化于现实世界中,创造出一系列雕塑作品。
而下面的视频中,通过与Sora的合作,Alexander实现了各种3D立体雕塑的艺术生成。
他表示,「我尝试使用Sora作为开拓3D雕塑的新起点。我开始对摄影测量学(一种通过照片测量物体的技术)及其在雕塑中的应用前景深感兴趣。特别是,将视频转化为3D模型的可能性激发了我的好奇心,这不仅仅是技术上的突破,更暗示着将AI的应用推向一个全新的维度」。
人类寄给外星人的地球名片
下面这则视频讲述的是人类与外星人的第三类接触。
开篇就是一个钻石在旋转。
随后出现的这个画面,概念与「旅行者」号寄给外星人的地球名片非常类似。
它是由身兼音乐家、研究员、创意活动家及多学科艺术家多重身份的August Kamp制作。
August解释道,「Sora对我来说是一个历史性的转折点。作为一个艺术家,我的视野一直受到想象力和实际条件之间矛盾的限制,得以如此直观地打造和改进电影级视觉效果,我感觉自己踏入了艺术的全新领域...我真的非常期待,随着这些工具的发展,将会出现哪些新的故事讲述方式」。
多元素组合
再来看看另一家创意机构Native Foreign制作的短片。
这个视频是由修钟人,上个世纪大城市街景,酒吧喝酒男子对女子一见钟情,海洋上浮起一辆汽车等多个元素组成的内容。
总部位于加州洛杉矶Native Foreign,是一家获得艾美奖提名的创意机构。
它因擅长品牌故事讲述、动效和标题的设计,以及先进的生成式AI工作流程而闻名。
联合创始人Nik Kleverov正利用Sora将「概念可视化」,并为品牌合作伙伴快速迭代创意。
他认为,创意的叙述不再受预算的严格限制。
「我是那种喜欢用动态思维来思考的创意工作者,因此在使用Sora时,我深感任何创意都能变成现实」。
Sora模型成本猜测
虽然以上这些测试效果的确惊艳,但所要花费的成本,却是难以想象的高昂。
最近的一篇来自Factoral Funds的报道中,估算了Sora模型在训练和推理时的成本。
文章highlight中介绍:
- Sora训练需要大量的计算资源,预计需要4211——10528个p00 GPU运行一个月
- 推理成本:一个p00 GPU大约,每小时能生成5分钟的视频。
训练计算估算:从DiT到Sora的推算
根据OpenAI的报告,虽然可以获取Sora的详细信息有限,但可以基于DiT(Diffusion Transformers)论文的数据,将Sora看作是DiT在视频生成方面的扩展。
DiT-XL模型有675M参数,使用了大约1021 FLOPS的总计算量,相当于大约0.4 Nvidia p00运行一个月(或12天使用一台p00)。
- 计算乘数: 假设视频以24fps编码,1分钟的视频包含1440帧。考虑到Sora的空间和时间压缩,如果按DiT论文的8倍压缩率,就可以得到180帧在潜在空间中的表示。
因此,相较于DiT处理图像,处理视频的计算量至少增加了180倍。
- 模型大小和数据集: 估计Sora的模型参数数量远超675M。如果假设一个20B参数的模型,相对于DiT,计算需求增加了30倍。此外,Sora训练的数据集比DiT大很多倍,增加了数据集规模的乘数4-10倍。
综合考虑,因此得出Sora训练所需的计算量。
推理与训练计算
推理与训练计算比较:训练计算是免洗的大量计算,而推理计算虽然较小,但随着模型的广泛应用,会被频繁调用。
平衡点是指花费在推理上的计算量超过训练所需计算量的时刻。
基于DiT到Sora的推算,Sora每生成一段视频的计算成本约为708×10^15 FLOPS,相当于每个p00 GPU大约能每小时生成5分钟视频。
在生成15.3M到38.1M分钟视频后,推理计算将超过训练计算。
根据估算,YouTube每天上传的视频量约为43M分钟,Sora这个平衡点在实际应用中很快就会达到。
好莱坞浅试一把AI,观众先骂开了
显然,不会用Sora的影视从业人员,是真的要out了。
好莱坞大导Tyler Perry已经因为Sora,撤掉了8亿美元摄影棚扩建计划
OpenAI此前就早已向好莱坞发起攻势,鼓励电影制作人在新拍摄的电影中用上Sora。
但此前,对于打翻自己饭碗的AI,众多好莱坞导演、编剧、演员显然是不满意的,他们曾发动多次罢工。
且不说好莱坞对于Sora的态度,观众们对电影中的AI是否买账呢?
在最近的电影【魔鬼深夜秀】中,就已经出现了AI创作的画面——「骷髅跳舞」。
这些画面会在电影虚构的电视直播中,作为广告播放。
对此,愤怒的观众们纷纷发起控诉。
对此,已经有观众打出了一星评论——「到处都是AI,不要让这成为开始,否则我们的娱乐中会充斥着狗屎。」
还有观众表示对于这部电影非常失望,号召大家不要为它花钱。
在他的留言区,有人劝他冷静:「这只是电影中一个小元素,我们没必要因此抵制整部电影,否定所有人的辛勤劳动。」
随着争议和争吵声越来越大,编剧、导演卡梅隆和科林不得不发表澄清——
感谢出色的图形和制作团队,为电影赋予了我们想要的70年代美学。其中三张静态图片,我们对其进行了进一步编辑,它们最终在电影中以非常简短的插页式广告出现。
另一部漫威电影,开场画面是用AI创作的。
在这段画面里,一艘气势磅礴的宇宙飞船来到了地球,随着绿色的云层在城市上空不详地盘旋,人类面孔变成了斯克鲁人。
当然,AI的画面也有漏洞,比如Samuel L. Jackson的脸部不太准确,伦敦天际线有两个大本钟。
同样,这也受到了观众的强烈抵制。
而【真探:夜之国】的背景海报,也因为疑似AI生成被许多观众炮轰。
看起来,让好莱坞真正拥抱AI,还有一段时间。