近期，AI 技術在遊戲開發領域取得了令人矚目的進展。
繼谷歌的 GameNGen AI 模型展示了使用影像擴散技術生成可玩版【淪陷戰士】（Doom）的能力後，一個新研究計畫又將目光投向了另一款經典遊戲——任天堂的【超級馬利奧兄弟】（Super Mario Bros）。
這個計畫展示了 AI 如何透過視訊生成技術來模擬這款 1985 年發行的經典遊戲，為未來的遊戲開發開辟了新的可能性。
公開資料顯示，MarioVGG 計畫主要由 GitHub 使用者歐尼·周（Ernie Chew）和布瑞恩·林（Brian Lim）管理，其相關論文由加密貨幣相關的 AI 公司 Virtuals Protocol 發表。
該計畫主要利用機器學習技術，透過研究遊戲視訊和輸入數據，來推斷遊戲的物理規則和遊戲動態。
研究人員使用了一個包含 280 個遊戲關卡的公開數據集，遊戲畫面超過 737000 幀。
為了簡化遊戲情況，他們只關註兩種潛在輸入：向右跑和向右跑並跳躍。經過約 48 小時的訓練（使用單塊 RTX 4090 顯卡），模型就能夠從靜態的初始遊戲影像和文本輸入生成新的視訊幀序列。
MarioVGG 采用了文本到視訊生成的方法來重現【超級馬利奧兄弟】。模型透過學習遊戲畫面，能夠根據玩家的文本輸入（「跑」或「跳」）生成相應的遊戲畫面序列。
具體來說，模型只需要接收一個初始的遊戲畫面幀和所需動作的文本描述（例如「跳躍」），然後學習生成一系列視覺化描述所需動作的幀。
為了提高效率，研究人員將輸出幀的分辨率從原始 NES（註：Nintendo Entertainment System，是任天堂生產的第一代家用遊戲機）的 256×240 降低到了 64×48 或 128×96。
此外，他們將 35 幀的視訊時間壓縮為僅 7 個生成幀，這些幀以均勻的間隔分布，從而創造出比實際遊戲畫質更粗糙的遊戲視訊。
盡管采用了這些方法，MarioVGG 模型仍然面臨著接近即時視訊生成的挑戰。研究人員只用了一張 RTX 4090 顯卡，需要大約 6 秒鐘才能生成 6 幀視訊序列，視訊長度僅僅超過半秒，這還是在極其有限的幀率下。
研究人員承認這「對於互動式視訊遊戲來說既不實用也不友好」，但他們希望未來的最佳化可以改善這一速率。
盡管存在上述限制，MarioVGG 仍然展現出了一些令人印象深刻的特性。
首先，模型能夠純粹從訓練數據中學習遊戲的物理規則，包括馬利奧從懸崖邊跌落時的重力效果，以及在遇到障礙物時停止前進。
其次，雖然 MarioVGG 主要關註模擬馬利奧的動作，但它也能有效地為馬利奧生成新的障礙物，這些障礙物「與遊戲的圖形語言相一致」。
此外，MarioVGG 能夠生成獨特的馬利奧關卡，只有第一幀輸入來自真實遊戲狀態。
然而，MarioVGG 也面臨著一些顯著的挑戰，比如研究人員觀察到，輸入動作文本並不總是被模型所遵守。
有時還會出現明顯的視覺問題，如馬利奧有時會穿過障礙物和敵人、顏色閃爍、在幀之間縮小/增大，或在多個幀中完全消失後又重新出現。
模型並不懂得遊戲邏輯，即使在馬利奧死掉之後，它還是會繼續渲染視訊幀，而不是回到最後的檢查點。此外，關卡和物體的生成也不可控，只能透過程式化生成。
MarioVGG 計畫為未來遊戲開發開辟了新的可能性，展示了 AI 如何透過學習視訊數據來理解和重現復雜的遊戲機制。
研究人員希望這代表著「產生和展示可靠和可控的視訊遊戲生成器」的第一步，甚至可能在未來「完全使用視訊生成模型取代遊戲開發和遊戲引擎」。
然而，要實作這一願景，還需要解決諸如即時效能、畫面品質、遊戲邏輯一致性等一系列挑戰。例如，如何在生成的遊戲中決定終止狀態，這仍然是一個開放的研究問題。
盡管如此，考慮到 MarioVGG 計畫僅使用了相對較小的訓練數據集和單個消費級圖形處理器（GPU，Graphics Processing Unit），其取得的成果已經相當令人印象深刻。
Virtual Protocols 公司在推特上樂觀地表示：「無限互動世界的時代已經到來。」
總的來說，雖然視訊生成制作遊戲的方法還無法完全替代傳統的遊戲開發方法，但它為遊戲產業註入了新的活力，讓我們得以一窺 AI 驅動的遊戲未來。
這些新計畫為遊戲設計和開發提供了新的思路，展示了 AI 如何透過學習視訊數據來理解和重現復雜的遊戲機制。
未來，我們可能會看到，隨著技術的發展有望出現更多 AI 輔助的遊戲開發工具，甚至是完全由 AI 生成的遊戲世界。
參考資料：
https://arstechnica.com/ai/2024/09/new-ai-model-learns-how-to-simulate-super-mario-bros-from-video-footage/
https://www.pcmag.com/news/this-ai-model-can-create-a-super-mario-game-using-a-text-to-video-generator
營運/排版：何晨龍
