當前位置: 華文星空 > 知識

「意念手寫」登Nature封面!碼字不用手,準確率99%

2021-05-13知識

智東西(公眾號:zhidxcom)
編譯 | 李水青 韋世瑋
編輯 | 心緣

腦機介面(BCI)技術新進展又一次登上國際頂級期刊Nature的封面!

智東西5月13日訊息,美國史丹佛大學研究人員 首次破譯了與手寫書信相關的大腦活動,並結合人工智慧(AI)演算法,實作「意念」寫字。

這使得癱瘓患者 只需腦補「手寫文字」,他所想的文本就會即時顯示在螢幕上。

在這項研究中, 患者每分鐘可鍵入90個字元 ,接近同齡正常人使用智慧型手機時每分鐘115個字元的速度—— 是以前用這類腦機介面(BCI)研究打字記錄的2倍多,準確率更是高達99%以上。

這項堪稱腦機介面新裏程碑的研究,登上了全球首屈一指的科學期刊Nature最新一期的封面。 論文題目為【透過手寫進行高效能的腦對文本交流(High-performance brain-to-text communication via handwriting)】。

美國史丹佛大學霍華德·休斯醫學研究所(HHMI)的研究員Krishna Shenoy是這項研究的合著者,與史丹佛大學神經外科醫生Jaimie Henderson共同推進這項工作。

Shenoy認為,隨著技術的進一步發展, 這項創新可能使癱瘓的人無需用手就能快速打字

一、聚焦手寫表達方式,解碼大腦神經活動訊號

當受傷或疾病剝奪了一個人的移動能力時,走路、喝杯咖啡或者說一句話的大腦神經活動仍然存在。

研究人員可以利用這項活動,來幫助癱瘓患者或截肢患者恢復失去的能力。不過,具體的需求也因殘疾的性質而異。

有些失去雙手的人依然可以用語音辨識軟體,而 對於無法發聲的人,科學家們正開發其他方法來幫助他們與人交流

這一次,史丹佛研究人員將目光 聚焦於經典的自我表達方式——手寫

近年來,本論文作者Shenoy的研究團隊解碼了與語音相關的神經活動,希望再現語音。比如他們曾在另一項研究中涉及一種方法,讓植入傳感器的患者「意念」移動電腦螢幕上的光標,選擇虛擬鍵盤上的字幕進行打字。透過這樣的方法,患者每分鐘可輸入大約40個字元,這是以前使用腦機介面打字的速度記錄。

但問題是,直接腦補人的「筆跡」是否可行?

Shenoy團隊中的一位神經學家Frank Willett想知道,能不能利用用筆在紙上寫字時引發的大腦訊號,來找到讓人們交流更快的新方法。

二、區分不同字母活動訊號,65歲癱瘓者也可正常打字

當下,該臨床試驗試驗正在測試腦機介面的安全性,腦機介面能將資訊直接從參與者的大腦發送到電腦。

該實驗負責人是布朗大學麻省總醫院和普羅維登斯醫學中心的神經科醫生和神經科學家Leigh Hochberg,他將兩個微小的傳感器植入癱瘓者大腦控制手和手臂的部份,從而讓癱瘓者實作一些行動。例如,讓癱瘓者嘗試移動已癱瘓的手臂,從而在螢幕上完成移動機械臂或者光標的效果。

▲演算法可追蹤物件假想中筆的執行路徑

這一患者在參與研究時年僅65歲,患有脊髓損傷,脖子以下癱瘓。當他想象在寫作時,團隊能利用傳感器從單個神經元中拾取訊號,再透過機器學習演算法辨識出他的大腦隨每個字母產生的模式。借助該系統,他在智慧型手機上打字和進行語句表達的速度與同齡人相似。

Shenoy團隊的Willett說,這種「Brain-to-Text(大腦至文本)」 的腦機介面之所以如此快, 是因為每個字母都會引發高度不同的活動模式,從而使演算法相對容易地將一個字母與另一個字母區分開。

而植入進患者腦中的兩個微型傳感器也正是來自美國科技公司BrainGate的電極陣列,每個都含有96個電極。就在今年4月,BrainGate研究人員成功地創造了一個無線腦機介面(BCI),使用者腦袋上夾兩個無線發射機,就能隔空在螢幕上打字、瀏覽網站。不過,該研究追蹤試驗者意念移動光標進行打字,每分鐘僅能輸入13.4個正確字元。

三、新系統將增加意念導航等功能

除了腦機介面輸入文本的功能模式,Shenoy的團隊還想建立一個 更全面的系統

該系統包括點選導航,類似於當前智慧型手機上使用的導航,甚至嘗試透過意念說話進行導航搜尋。他說:「擁有這兩種或三種模式,並在它們之間切換,在我們認為是自然而然的發展方向。」

Shenoy稱,接下來團隊還打算與語言障礙患者合作,例如患有肌萎縮性側索硬化癥的人,這是一種退化性神經系統疾病,會導致行動和言語喪失。

Henderson補充說,新系統可能會幫助那些因多種疾病而癱瘓的人。其中就包括近年來越來越常見的腦中風,這一疾病就使【潛水鐘與蝴蝶(The Diving Bell and the Butterfly)】一書的作者Jean-Dominique Bauby感到痛苦。

「他能夠透過一次眼神的動作,一次又一次地精心挑選人物來寫這本動人而每秒的作品。」Henderson說。當然,這一技術造福的將不僅僅是研發人員喜歡的作者,而將是千千萬萬喪失行動和語言能力的殘疾人。

結語:腦機介面技術再上新階梯

腦機介面技術能實作意念操控已不是什麽新鮮事,但本次我們看到,人工神經網路可以讓癱瘓者想象自己書寫,從而將意念轉化為真實的文本,90字元/分的速度也令人興奮,這是使用頭部或眼睛跟蹤系統進行輸入記錄的兩倍多!

隨著這一技術的研發落地,將為癱瘓患者帶來巨大便利,不僅能實作和常人一樣速度的書寫表達,未來也將實作意念講話操控等實作更高效交流。

來源:Nature、HHMI