編輯:編輯部
【新智元導讀】Sora再次給全世界帶來億點點震撼!首批導演、藝術家們與Sora合作的視訊短片出爐了。談及初印象,他們盛贊Sora能把不可能的想法帶入現實,最驚艷的是還可以創造完全超現實的內容。
Sora給好萊塢的震撼,就在剛剛變成了現實!
幾天前,「OpenAI正在向好萊塢推銷Sora」的訊息才剛剛傳出。
而今天一早,首批拿到Sora授權的導演、藝術家們,就已經公開自己創作的最新短片了。堪稱神速!
OpenAI為之配文——Sora初印象。
Hollywood,果然一夜之間變Sorawood。
OpenAI聯創Greg轉發了最經典的一個勵誌小短片——氣球人。
有網友稱,「Sora會把每個人都變成Steven Spielberg,它將永遠顛覆好萊塢」!
還有人表示,「我的初步收獲是:(人類)創意方向是關鍵,而Sora的魔力在於將超現實帶入生活。我們是否正在進入下一個新達達主義時代」?
Sora最新短片,究竟有多震撼?
我們來一一感受下。
害羞的孩子:「氣球人」雞湯短片
第一部是關於「氣球人」的勵誌故事短片。
僅用1分21秒向人們傳遞了滿滿的正能量——「每個人都有那麽一點兒獨特之處,讓他們與眾不同」。
鏡頭場景由小拉大,一位男子慢慢走向自由車,騎著車走在路上,直到視訊20秒的時,才看到男子的完整形象——「氣球人」。
接下來視訊中,講述了氣球人生活面對的一些挑戰。
比如,「有一次,女朋友非讓他去仙人掌店,給叔叔Jerry挑一份結婚禮物」。
正是「氣球人」的身份,讓他擁有了看世界不同視角的機會。
視訊後半部份,是氣球升空後,隨風飄到世界各個地方去看、去聽、去感受。
整個短片看下來,完全是一碗雞湯,告訴我們「異」是上天賦予每個人的禮物,要積極面對生活。
值得一提的是,背後創作者來自一家多媒體制作公司(總部設在多倫多)的三人團隊:Walter Woodman、Sidney Leeder和Patrick Cederberg。
他們分享道,「我們現在有能力擴充套件我們曾經認為不可能實作的故事」。
導演Walter表示,「盡管Sora在生成看似真實的事物方面表現出色,但真正讓我們興奮的是它創造完全超現實事物的能力。這是抽象表現主義的新時代」。
「來自世界各地的人們,有故事急於傾訴的人們,終於有機會向世界展示他們的內心世界了」。
金色唱片:從地球原材料,到人類生活的時間膠囊
下面是由導演Paul Trillo生成的短片。他也曾是Runway Gen-2放出之後,首批使用者。
整體采用了快鏡頭的方式,以金屬人的視角探索世界。
從海底,到現實世界商店、圖書館、金字塔、懸崖,再到接近混沌的世界,還配上了動感的音樂。
Paul Trillo是一位才華橫溢的多領域藝術家、作家及導演,他的作品曾受到【滾石】和【紐約客】等知名媒體的高度評價。
他已經榮獲19次「Vimeo Staff Picks」獎項,這是對Vimeo平台上最優秀短片的一種認可。
Paul表示,「與Sora合作,我第一次感覺到作為電影人的自我釋放。不再受時間、資金或他人授權的限制,我能夠自由地探索和嘗試,以大膽和創新的方式進行創作」。
他的實驗性視訊作品,正體現了這種創作理念。
只有你不再簡單復制舊的東西,而是創造新穎且不可能的想法時,Sora的能力才能得到最大發揮,讓我們有機會見證那些原本無法實作的創意。
就在剛剛,Paul又放出了自己與Sora合作的最新短片——「金色唱片」,也算是接上一個短片的續作。
這個紀錄片描述了,從地球的原材料到人類地球生活的時間膠囊。
Paul表示,制作過程是是把Sora生成的11個不同片段剪輯在一起。
網友評論道,「關於控制/保留率,你有什麽可以分享的嗎」?
Paul表示,「現在還不能說太多,但我可以說,它的功能與眾不同,我盡了最大努力去打破它的美學風格」。
「異種生物」紀錄片:飛豬來了!
再來看看,這個堪稱史詩級「動物紀錄預告片」。
各種你沒有見過的異種生物,Sora僅憑想象,都造出來了。
貓有著魚一樣的尾巴、長頸鹿有著鶴一樣的下半身、鯊魚突然多出了與章魚一樣的觸角、蜜蜂有著馬頭。
還有二師兄也變成了「飛豬」。
視訊中,簡要介紹了從第一集,到第八集,分別將要深入帶你了解的異種動物。
背後的創作者Don Allen III是一位跨領域的藝術家、演說家和顧問,曾在夢工廠動畫(DreamWorks Animation)開啟了他的職業路程。
他曾與眾多科技和娛樂巨頭合作,探索混合現實、虛擬現實和AI的套用領域。
「我一直在創造增強現實中的異種生物,這些在我腦海中構思的有趣組合,現在可以更輕松地原型化,然後再將這些3D角色完整地構建並置於空間電腦中」。
Don提到,Sora非同尋常是其最大的優勢,它不受常規物理規律或傳統思維方式的限制。
他表示,透過與Sora的合作,他的創作重心從「技術難題轉向了純粹的創意……開啟了即時視覺化和快速原型設計的新世界」。
同時,Don也表示,「這讓我能夠更專註地投入時間和精力在更重要的地方……以及我期望我的角色所傳達的情感深度」。
夢幻美人魚
大海中3位「美人魚」的短片,簡直讓人驚嚇下巴。
他們身上透明,斑斕的鱗片,在太陽照射下,給人一種如夢如幻般的感覺。
Josephine Miller是倫敦Oraar Studio的聯合創始人及創意總監。該工作室專註於3D視覺、增強現實和數位時尚的設計。
「Sora讓我能夠實作多年來一直夢想,但技術上無法實作的創意」。
「這種快速將想法以高品質進行創意概念化的能力,不僅對我的創作過程構成了挑戰,也促使我在講故事的藝術上不斷改進。Sora讓我能夠在更少的技術限制下,將想象力轉化為現實」。
用AI探尋人性
藝術家Alexander Reben在過去十年,深入到了一項獨特的探索中:透過AI挖掘人性中的幽默與荒謬。
他還手動將AI生成的影像轉換成三維模型,並將這些模型具象化於現實世界中,創造出一系列雕塑作品。
而下面的視訊中,透過與Sora的合作,Alexander實作了各種3D立體雕塑的藝術生成。
他表示,「我嘗試使用Sora作為開拓3D雕塑的新起點。我開始對攝影測量學(一種透過照片測量物體的技術)及其在雕塑中的套用前景深感興趣。特別是,將視訊轉化為3D模型的可能性激發了我的好奇心,這不僅僅是技術上的突破,更暗示著將AI的套用推向一個全新的維度」。
人類寄給外星人的地球名片
下面這則視訊講述的是人類與外星人的第三類接觸。
開篇就是一個鉆石在旋轉。
隨後出現的這個畫面,概念與「旅行者」號寄給外星人的地球名片非常類似。
它是由身兼音樂家、研究員、創意活動家及多學科藝術家多重身份的August Kamp制作。
August解釋道,「Sora對我來說是一個歷史性的轉折點。作為一個藝術家,我的視野一直受到想象力和實際條件之間矛盾的限制,得以如此直觀地打造和改進電影級視覺效果,我感覺自己踏入了藝術的全新領域...我真的非常期待,隨著這些工具的發展,將會出現哪些新的故事講述方式」。
多元素組合
再來看看另一家創意機構Native Foreign制作的短片。
這個視訊是由修鐘人,上個世紀大城市模組屋,酒吧喝酒男子對女子一見鐘情,海洋上浮起一輛汽車等多個元素組成的內容。
總部位於加州洛杉磯Native Foreign,是一家獲得艾美獎提名的創意機構。
它因擅長品牌故事講述、動效和標題的設計,以及先進的生成式AI工作流程而聞名。
聯合創始人Nik Kleverov正利用Sora將「概念視覺化」,並為品牌合作夥伴快速叠代創意。
他認為,創意的敘述不再受預算的嚴格限制。
「我是那種喜歡用動態思維來思考的創意工作者,因此在使用Sora時,我深感任何創意都能變成現實」。
Sora模型成本猜測
雖然以上這些測試效果的確驚艷,但所要花費的成本,卻是難以想象的高昂。
最近的一篇來自Factoral Funds的報道中,估算了Sora模型在訓練和推理時的成本。
文章highlight中介紹:
- Sora訓練需要大量的計算資源,預計需要4211——10528個p00 GPU執行一個月
- 推理成本:一個p00 GPU大約,每小時能生成5分鐘的視訊。
訓練計算估算:從DiT到Sora的推算
根據OpenAI的報告,雖然可以獲取Sora的詳細資訊有限,但可以基於DiT(Diffusion Transformers)論文的數據,將Sora看作是DiT在視訊生成方面的擴充套件。
DiT-XL模型有675M參數,使用了大約1021 FLOPS的總計算量,相當於大約0.4 Nvidia p00執行一個月(或12天使用一台p00)。
- 計算乘數: 假設視訊以24fps編碼,1分鐘的視訊包含1440幀。考慮到Sora的空間和時間壓縮,如果按DiT論文的8倍壓縮率,就可以得到180幀在潛在空間中的表示。
因此,相較於DiT處理影像,處理視訊的計算量至少增加了180倍。
- 模型大小和數據集: 估計Sora的模型參數數量遠超675M。如果假設一個20B參數的模型,相對於DiT,計算需求增加了30倍。此外,Sora訓練的數據集比DiT大很多倍,增加了數據集規模的乘數4-10倍。
綜合考慮,因此得出Sora訓練所需的計算量。
推理與訓練計算
推理與訓練計算比較:訓練計算是免洗的大量計算,而推理計算雖然較小,但隨著模型的廣泛套用,會被頻繁呼叫。
平衡點是指花費在推理上的計算量超過訓練所需計算量的時刻。
基於DiT到Sora的推算,Sora每生成一段視訊的計算成本約為708×10^15 FLOPS,相當於每個p00 GPU大約能每小時生成5分鐘視訊。
在生成15.3M到38.1M分鐘視訊後,推理計算將超過訓練計算。
根據估算,YouTube每天上傳的視訊量約為43M分鐘,Sora這個平衡點在實際套用中很快就會達到。
好萊塢淺試一把AI,觀眾先罵開了
顯然,不會用Sora的影視從業人員,是真的要out了。
好萊塢大導Tyler Perry已經因為Sora,撤掉了8億美元攝影棚擴建計劃
OpenAI此前就早已向好萊塢發起攻勢,鼓勵電影制作人在新拍攝的電影中用上Sora。
但此前,對於打翻自己飯碗的AI,眾多好萊塢導演、編劇、演員顯然是不滿意的,他們曾發動多次罷工。
且不說好萊塢對於Sora的態度,觀眾們對電影中的AI是否買賬呢?
在最近的電影【魔鬼深夜秀】中,就已經出現了AI創作的畫面——「骷髏跳舞」。
這些畫面會在電影虛構的電視直播中,作為廣告播放。
對此,憤怒的觀眾們紛紛發起控訴。
對此,已經有觀眾打出了一星評論——「到處都是AI,不要讓這成為開始,否則我們的娛樂中會充斥著狗屎。」
還有觀眾表示對於這部電影非常失望,號召大家不要為它花錢。
在他的留言區,有人勸他冷靜:「這只是電影中一個小元素,我們沒必要因此抵制整部電影,否定所有人的辛勤勞動。」
隨著爭議和爭吵聲越來越大,編劇、導演卡麥隆和柯林不得不發表澄清——
感謝出色的圖形和制作團隊,為電影賦予了我們想要的70年代美學。其中三張靜態圖片,我們對其進行了進一步編輯,它們最終在電影中以非常簡短的插頁式廣告出現。
另一部漫威電影,開場畫面是用AI創作的。
在這段畫面裏,一艘氣勢磅礴的宇宙飛船來到了地球,隨著綠色的雲層在城市上空不詳地盤旋,人類面孔變成了斯克魯人。
當然,AI的畫面也有漏洞,比如Samuel L. Jackson的臉部不太準確,倫敦天際線有兩個大本鐘。
同樣,這也受到了觀眾的強烈抵制。
而【真探:夜之國】的背景海報,也因為疑似AI生成被許多觀眾炮轟。
看起來,讓好萊塢真正擁抱AI,還有一段時間。