在今年的 WWDC 大會上，蘋果釋出了用於捕獲真實世界物件的全新技術 Object Capture。 Unity 一直與蘋果團隊進行密切合作，已將 Object Capture 引入至 Companion-to-Editor 工作流程。
自從引入蘋果的移動技術，Unity 的使用者已經能夠輕松利用蘋果最新技術來無縫地建立各類數碼體驗。今年下半年，Unity 的 AR Companion 套用將整合 Object Capture，讓 XR 開發者能夠掃描真實世界的物件並迅速生成 3D 模型。
AR Companion App 是 Unity 混合與增強現實創作工具 MARS 的智能助手套用，支持開發者在任何地點、任何 AR 器材上進行 3D 創作而無需完整的專案檔和 Unity 編輯器。
一直以來，Unity 開發者面對的一個痛點是如何將變化莫測的真實世界整合到數碼體驗中，比如掃描空間獲取即時位置資訊、或將真實世界的資訊融入到虛擬體驗之中。Unity AR Companion 套用將創作過程延伸到了編輯器之外，提供了在現實情境中建立和捕獲物件的方法。開發者可以捕捉平面、網格和其他環境資訊，幫助構建 XR 套用，未來還會推出更多可以捕獲的物件。
內容創作與增強現實領域將更進一步
Object Capture 專案的推出說明了創作工具的一個大趨勢，即在特定硬件上結合Unity 編輯器使用 Companion 套用，這表示我們可以讓每個媒介和器材都物盡其用。啟用了 AR 功能的手機將成為一款優秀的器材，可以進行環境捕捉、AR 行程錄制，以及新增的物件捕捉。
值得註意的是， 這項新技術還支持處理現有的照片集。 對使用「傳統相機」器材的支持非常重要，因為它可以降低這項技術的門檻，讓更廣泛的受眾能使用過去捕捉的影像進行攝影測量（photogrammetry）。比如你曾經為一件已經遺失的祖傳物品拍攝過照片，現在有了這項技術，你就可以用 3D 形式將它再次生動地呈現出來，綻放舊日的光彩。
Object Capture 初體驗
新的 Object Capture 功能內建於 iOS 版的 Unity AR Companion 套用中，後者將於今年秋天晚些時候釋出。屆時，我們將提供完整的文件說明。今天，我們希望先簡要介紹一下相關的工作流，並探討其中的一些想法。
今年秋天從 AR Companion 套用開始，你會發現一個新的模式：物件捕捉（Object Capture）。
在開始拍攝照片之前，你會看到一個互動式 UI，可以為拍攝物件設定引導物件。設定完成後，就可以開始拍照了。
與任何攝影測量過程一樣，你需要從各個角度拍攝大量的物件照片。我們會為每張照片在已經拍攝過的角度區域上放置一個「別針」進行標記。此外還可以翻轉物體或調整位置，以捕捉物體的底部或懸垂的邊緣。
我們將在你拍攝每一張照片時進行分析，找出可能會導致糟糕結果的低質素影像。當檢測到模糊或其他不可用的照片時，系統會將「別針」標記為紅色，讓你能夠檢查、選擇性地刪除和重新拍攝這些照片。
拍完所有照片後，你就可以在 Mac 端的 Unity 上處理照片、生成模型了。
我們所提供的支持有多個不同的切入點：首先，對於這個專案，我們添加了使用本地無線檔傳輸的功能，同時支持現有的 Companion Resources Sync 工作流。其中，「Captured Object」已添加到 Unity 現有的資源類別中，如影像標記和環境掃描。其次，我們還支持只使用本地影像目錄的情況，無論是使用 iPhone 端的 Companion App 拍攝的，還是使用傳統 DSLR 相機拍攝的都可支持。
無論使用哪種原始檔，一旦選擇了要使用的影像，你就可以立即開始處理。
這分為兩個階段：首先，處理預覽質素的模型。使用預覽，你可以調整邊界框並進行任何必要的平移和旋轉調整。
然後再點選一個按鈕，系統就可以處理全質素的模型。這一步使用了預覽模型中生成的大部份數據，這表示盡管模型質素更高，但第二個處理階段所用的時間不會比預覽階段長。
完成！你可以將最終的模型作為預制件匯入到專案中，在 XR 套用中使用。
在實踐中進行創作引導
在測試 Object Capture 模式的早期版本時，我們意識到這是透過 AR 來指導使用者獲得攝影測量最佳實踐的機會。盡管第一個版本有簡單的書面說明，但不少使用者都不願意細讀，並會選擇草草略過，因此我們 添加了引導物件 。
盡管引導物件不是必需的，但我們發現它對於幫助使用者拍攝高質素的影像非常重要，還能清楚地顯示哪些區域還沒有被覆蓋來最大化覆蓋範圍。除了引導物件，我們 還添加了照片別針 ，可以準確提供已經拍攝過的照片角度、低質素的攝影檢測和反饋等資訊。
引導物件和照片別針非常有用，但它們同時引出了一個新的考量因素：因為沒有追蹤正在掃描的物件，所以如果物件移動，系統不能自動移動引導物件。但如果引導物件和照片別針保持在原來的位置，並且物件已經翻轉，其代表的圖片就不再對應。所以，我們鼓勵使用者在移動物件後重新放置引導物件，並重設照片別針。系統繼續追蹤覆蓋物件的總百分比，讓使用者知道之前拍攝的照片沒有遺失。
總而言之，我們認為這種 AR 可供性是 AR 作為輔助性教學技術的顯著用例，尤其是涉及物理移動的新互動。
展望未來
這個專案讓我們感到興奮的原因有很多，首先是它與我們不斷推進內容創作大眾化的使命密切相關。盡管一些遊戲開發者已經在制作過程中使用攝影測量很長時間了，但這是一個高度專業化並且有時讓人沮喪的過程。蘋果推出的 Object Capture 功能， 讓廣大創作者能夠更為輕松地使用攝影測量這一技術。 我們期待看到更多創作者（如獨立遊戲開發者、中小型工作室、學生）能在開發過程中使用真實世界的物件捕捉功能。
但讓我們更為激動的是，這個功能強大的工具集 可以用於更多的日常器材上 ，讓非專業的開發者也能進行內容創作和管理。當開始這個專案時，我們收集了這項技術涉及的一系列用例，很快意識到它影響到的領域非常廣闊，不只局限於遊戲。例如，一家音樂商店的店主之前只能釋出一些樂器的靜態影像，而現在可以使用 Object Capture 來建立逼真的、高質素的、易於共享的3D樂器模型，隨時透過線上的方式或增強現實的模式進行展示。
透過將這種強大的創新技術直接整合到 Unity 工具之中，我們為非傳統使用者開啟了攝影測量技術方便之門。策展人、建築師、藝術家和設計師等幾乎可以即時將想法付諸實踐。
想要了解更多關於 Unity MARS 的內容，歡迎存取：
https:// unity.cn/product/mars
