檢視參照/資訊源請點選：映維網
Facebook將專註於將BCI概念套用到肌電圖研究中，以顯著加快基於手腕的神經介面發展，實作直觀的AR/VR輸入。（ 映維網 2021年07月15日 ）加州大學舊金山分校（UCSF）的研究合作者日前在【新英格蘭醫學雜誌】發表了一個新成果：透過解碼從運動皮層發送到聲道的大腦訊號，研究人員幫助嚴重失語癥狀患者恢復了溝通能力。
這項研究標誌著神經科學領域的一個重要裏程碑，並代表著Facebook與加州大學舊金山分校的張氏實驗室（Chang Lab）數年合作的成果。
所述突破性研究展示了光學BCI在張氏實驗室等臨床環境和非侵入性消費套用領域中的潛能。為了繼續促進光學BCI在整個領域的發展，Facebook宣布開放相關BCI軟體的原始碼，並將頭戴式硬體原型分享給研究人員和其他同行，以幫助推進這一方向的探索。同時，Facebook Reality Labs將專註於將BCI概念套用到肌電圖（EMG）研究中，以顯著加快基於手腕的神經介面發展，實作直觀的AR/VR輸入。
延伸閱讀 ：Facebook：超低摩擦輸入，「腕帶」是AR互動的未來值得一提的是，Facebook Reality Labs撰文回顧了相關的過程進展，下面是映維網的具體整理：
房間裏擠滿了加州大學舊金山分校的科學家和裝置，到處都是顯視器和數據線。
但他的眼睛只是盯著一個螢幕，而上面顯示著三個簡單的字詞：「早上好！」盡管口裏發不出聲音，但他嘗試予以回應，而螢幕馬上出現了「你好」兩個字。
這時，螢幕變黑，取而代之的是另一個對話提示：「你今天怎麽樣？」這一次，他嘗試說「我很好」，而螢幕將其顯示了出來。
這是一個簡單的對話，但卻是神經科學領域的一個重要裏程碑。更重要的是，在經歷了一系列中風後而導致四肢和聲道幾乎完全癱瘓後，這是他16年來第一次不必透過笨重的頭戴式儀器就能「說出」自己心裏的話。現在他只要試著說話，電腦就可以實分時享相關的單詞，不需要任何文本鍵入。
加州大學BCI言語意念文本鍵入
https://www.zhihu.com/video/1399304312519118848
Facebook Reality Labs（FRL）的腦機介面（BCI）計畫成立於2017年，而最初團隊設定了一個雄心勃勃的長期目標：開發一個無聲、無創的語音介面，人們只需念想自希望說出的話語就可以實作相應的文本鍵入操作。
團隊在四年的時間裏取得了巨大進展，深入探索了頭戴式光學BCI作為下一個計算平台的潛在輸入方法。在另一個層面，這種方法能夠允許你在AR/VR中以語音的速度和文本鍵入的離散性進行通訊。除了內部努力之外，團隊向加州大學舊金山分校一組致力為失語癥人群開發可植入通訊義肢的研究人員提供支持。Facebook資助這項研究的目標是：確定一個每分鐘能輸入100個單詞的無聲界面是否可行；如果可行，又需要什麽樣的神經訊號。這一目標與UCSF的研究非常吻合。
加州大學舊金山分校兩年前在【自然通訊】期刊發表了第一份研究結果，首次證明可以從大腦活動中即時解碼一小部份口語單詞和短語。從那時起，加州大學舊金山分校又演示了利用機器學習解碼從大腦到文本的完整句子。
今天，我們非常高興地慶祝這項研究的下一章節，以及加州大學舊金山分校團隊發表在【新英格蘭醫學雜誌】的一個全新的裏程碑：患有嚴重失語癥的人第一次透過簡單的語言嘗試來實作幾乎即時的言語念想文本鍵入。簡單來說，透過解碼從運動皮層發送到控制聲道的肌肉的大腦訊號，加州大學舊金山分校恢復了一個人的溝通能力。這是神經科學的一個裏程碑，並且標誌著張復倫（Edward Chang）博士在加州大學舊金山分校十年研究的大成。
加州大學舊金山分校神經外科主任Edward Chang博士表示：「我在加州大學舊金山分校的研究團隊已經為這個（言語神經義肢）目標專研了十多年。在這段時間裏，我們學到了很多關於大腦如何處理語言的知識，但只有在過去五年裏，機器學習的進步才讓我們達到了這個關鍵的裏程碑。再加上Facebook的機器學習建議和資助，我們的進展得才以加速。」
1. BCI領域的一個全新裏程碑
這個計畫的最後階段稱之為Project Steno，於2019年在加州大學舊金山分校的張氏實驗室啟動，涉及一名在一系列中風後失去了正常言語能力的被試。被試接受了選擇性手術，並在大腦表面放置電極。在研究過程中，被試直接與加州大學舊金山分校團隊合作，並收集了數十小時的言語嘗試。相關數據用來建立機器學習模型，並用於語音檢測和單詞分類。透過這項研究，盡管16年前的中風導致其癱瘓，但被試依然能夠進行即時交流。
加州大學舊金山分校先前研究已經成功地從大腦活動中即時解碼出一小部份完整的口語單詞和短語，而其他張氏實驗室的研究表明，系統能夠以極低的單詞錯誤率辨識出顯著更多的詞匯量。然而，所述結果都是在被試大聲說話時實作，團隊不清楚當被試只是單純念想單詞時，其是否依然有可能即時解碼單詞。日前發表的研究結果將所有一切結合在一起，並證明了即時解碼會話語音的成功。我們從Project Steno學到了很多，特別是當它套用於演算法利用語言模型來提高大腦到文本的精確性時。
FRL神經工程研究經理艾蜜莉·莫格勒（Emily Mugler）指出：「Project Steno是第一次嘗試將語音與語言模型相結合來驅動BCI的演示。結果說明了我們可以如何利用語言固有的統計特性來顯著提高BCI的精確性：一個詞是如何在句子構造中通向另一個詞。」
就像手機使用自動更正和自動完成功能來提加文本鍵入的精確性一樣，我們可以將相同的技術套用到BCI，從而提高演算法預測被試念想內容的精確性。
2. Facebook對Project Steno的貢獻
Facebook在整個Project Steno中主要提供了反饋、機器學習建議和資助，但最終是由加州大學舊金山分校設計並監督研究，並直接與被試合作。Facebook沒有以任何方式參與研究被試的數據收集；所有數據始終保存在加州大學舊金山分校，並在加州大學舊金山分校的控制之下。顯然，Facebook對開發需要植入電極的產品沒有興趣。Facebook的資助幫助加州大學舊金山分校大幅提高了伺服器容量，允許他們能夠同時測試更多的模型，並獲得更精確的結果。
艾蜜莉領導了FRL腦機介面團隊的技術反饋，就幫助被試學習如何使用BCI的方法提供建議。你如何訓練一個人只用大腦溝通？這是一個壯舉，因為從來沒有人實作過。艾蜜莉於2017年加入Facebook。在BCI計畫初期，她就將職業生涯的大部份時間都集中在恢復性溝通腦機介面，為因肌萎縮側索硬化等疾病失去言語能力的患者提供BCI。
她指出：「看到這項研究取得成果對這個領域和我個人來說都是長久以來的夢想。作為一名腦機介面科學家，在我的整個職業生涯中，我的一個核心追求就是證明驅動語音解析度的神經訊號可以解碼，從而實作更為有效的腦機介面以用於溝通交流。相關結果開啟了眾多輔助技術的可能性，並用以顯著改善言語障礙患者的生活品質。」
加州大學舊金山分校今天公布的研究結果對輔助技術的未來有著至關重要的意義，因為這有可能幫助類似損傷患者開啟會話交流。我們非常期待看到Project Steno在神經科學領域帶來長遠影響。
3. 探索AR/VR的高頻寬互動
隨著腦機介面達到這一成功的裏程碑，現在是重新評估FRL整體腦機介面計畫目標的一個好時機，同時是這項研究與更廣泛的神經科學界分享的一個時機。我們一直都知道，無聲語音腦機介面是一項長期的研究工作，但我們已經朝著這個目標取得了實質性的進展：我們開發了一種可穿戴原型，它使用近紅外光從身體外部測量大腦中的血氧，並以安全、無創的方式間接測量大腦活動。在這個過程中，我們同時探索了感知組織運動的新方法，而這有可能重新定義非侵入性地從大腦感知內容的界限。
盡管我們相信頭戴式光學BCI技術的長期潛力，但我們決定將精力集中在一種不同的神經介面方法，而這種方法有一條更接近市場化的道路：由肌電圖驅動的手腕型裝置。下面是肌電圖的工作原理：當你決定移動你的手和手指時，大腦會透過運動神經元向手臂發送訊號，告訴它們以特定的方式移動，以便執行諸如輕拍之類的動作。肌電圖可以提取和解碼相關訊號，並轉化為用於裝置數位命令。在短期內，所述訊號能夠允許你以高度可靠，個人化的控制程度來與裝置進行通訊，並且可以適應眾多情況。隨著這一研究領域的發展，基於肌電圖的神經介面有可能極大地擴充套件我們與裝置通訊的頻寬，從而為高速文本鍵入等用例開辟可能性。
FRL Reaserch負責人尚恩·凱勒（Sean Keller）表示：「我們正在開發更自然、更直觀的方式來與隨時可用的AR眼鏡互動，這樣我們就不必在與裝置互動和與周圍世界互動之間做出選擇。我們依然處於釋放手腕型肌電圖潛力的早期階段，但我們相信它將是AR眼鏡的核心輸入，而套用我們所學到的BCI知識將能幫助我們更快地實作這一目標。」
由於它固有的高頻寬，語音是我們腦機介面研究的重點：你說話的速度比打字的速度快。但言語並不是套用這項研究的唯一用例，我們可以利用BCI團隊的基礎工作來實作基於手腕的直觀控制。有鑒於此，我們不再單純追求開發一種無聲無創的語音界面。我們正在尋求基於肌電圖的新型直觀控制，而不是單純基於言語念想的神經介面。
艾蜜莉解釋道：「作為一支團隊，我們已經意識到，我們用於光學腦機介面研究的生物反饋和即時解碼演算法可以加速我們對基於手腕型肌電圖的處理。我們真的希望你能夠直觀地控制我們的下一代腕帶。為了自信地利用這種微妙的控制方案，你需要裝置給你反饋，確認它理解你的目標。為了增加另一層的精確性，我們可以使用即時解碼演算法，利用語言的統計特性。將這種BCI研究概念套用於肌電圖可以幫助手腕型控制從一開始就感覺直觀和有用。」
4. 前方之路
即使我們專註於FRL內部基於手腕的AR/VR輸入裝置，我們都希望繼續支持第三方合作夥伴正在開發的頭戴式光學BCI技術探索。所以，團隊計劃開放相關BCI軟體的原始碼，並與主要研究人員和其他同行分享其頭戴式硬體原型，以幫助推進新的用例，比如說輔助技術。隨著這個計畫的發展，我們將分享更多關於我們光學BCI開源合作的細節。
作為一個研究組織，我們相信透過開源分享我們工作的方方面面是推動整個研究社群向前發展的一個好方法，並且對每個人而言都有利。這就是為什麽我們經常發表我們的研究成果，公開分享程式碼，並投資於學術研究，例如我們與加州大學舊金山分校的合作。外部協作的好處對於腦機介面研究尤其明顯，因為它需要在機器學習和神經科學的交叉點進行深入的跨學科研究。作為我們與張氏實驗室合作的一環，Facebook AI Research（FAIR）幫助加州大學舊金山分校在即時演示中使用了Facebook的開放原始碼「Wav2letter」來改進其語言模型。
艾蜜莉評論道：「透過與學術合作者的對話，我們發現與公共領域的同行分享這項研究成果將為整個神經科學界帶來更具影響力的結果。本著合作精神，為了推進腦機介面領域的發展，我們希望允許其他腦機介面研究人員使用我們的工具。我們在實驗室所作的研究是最先進的，但我們知道大家一起走可以走得更遠，而不是一個人走可以走得更遠。」
我們同時致力於促進關於神經倫理學的公開對話，亦即研究新興神經科學如何影響社會和個人的跨學科領域。當我們在2020年宣布負責任創新原則（Responsible Innovation Principles）的時候，我們的目標是以負責任的、以私密為中心的方式構建下一個計算平台。但我們知道自己無法獨力做到。這就是為什麽我們致力於與第三方合作，並爭取倫理、私密、安全和安保方面的專家和學者的幫助，以共同構建未來的技術平台，包括神經介面。
無論是作為團隊內部還是與研究團體外部合作，我們正在深化我們對神經倫理學的投資。這包括一個新的征求建議書「Engineering Approaches to Responsible Neural Interface Design（負責任的神經介面設計工程方法）」，而其重點是確保未來技術平台私密性和包容性。另外，我們同時定期參與與NeuroRights Initiative等組織的對話，包括促進神經技術和人工智慧領域的道德創新。
多年來，我們致力於為AR/VR開發未來的界面。隨著研究的進展，我們將繼續分享更多關於相關挑戰的資訊。
---
原文連結：https://
news.nweon.com/87584
