原標題:科學家開發“腦機語音文本界面”:大腦寫皮膚聽
近期,臉書(Facebook)在F8全球開發者大會上透露,該公司一個60人的工程師團隊,正在開發一個名為“腦機語音文本界面”,即用戶無需說話,也無需手動輸入,就能把用戶大腦中的想法,直接展示在計算機屏幕中。大體而言,就是利用光學成像技術以每秒100次的速度掃描人腦,檢測人們在腦海中默念的信息,并由計算機將其翻譯成文字。
臉書研發和硬件實驗室Building 8的負責人雷吉娜·杜坎表示,團隊的目標是使人們用意識就可以實現每分鐘輸出100個單詞,比現在在手機上打字的速度快5倍。最終,腦機界面將可以讓人們用意識,而不是通過屏幕或控制器來控制增強現實或虛擬現實體驗。
●南方日報駐京記者 王騰騰 王詩堃
策劃:李江萍
傳統腦機接口 有相當風險,存在醫學倫理爭議
在上述開發者大會上,臉書展示了一段視頻。在視頻中,一位在斯坦福大學接受試驗的癱瘓病人,使用一個植入大腦的小型電極在鍵盤上移動電腦光標,能夠每分鐘輸入8個英文單詞。視頻中的病人患有肌萎縮側索硬化癥,身體完全不能動——既不能行動也不能說話,但是她能夠用自己的意念打字:一系列豌豆大小的電極植入用于控制運動的運動皮層,當她想象自己在移動鼠標時,電極會記錄她的神經元動作,然后電腦會學著代她移動鼠標。
實際上,上述成功的實驗所使用的技術叫做“腦機接口”。目前,腦機接口的方式有植入式和非植入式兩大類。
植入式腦機接口包括針式與貼片式兩種,兩者都需要進行開顱手術,將電極埋藏在大腦皮層中,繞過頭皮與頭骨的阻礙,直接監測神經元的活動狀況。這樣讀取信號的方式雖然直接,但由于需要用開放性的外科手術將電極植入到腦內神經組織,這不僅會對用戶造成損傷,還要確保傷口長期不被感染,存在一定的技術難度。神經外科專家、中國醫科大學附屬盛京醫院副教授鮑民告訴南方日報記者,腦機接口技術用于健全人,目前還很少有臨床應用。鮑民強調,現有的腦機接口多是長期接口,需要顱內植入,但這類植入對于健全人來說并不適宜。他表示,這種手術對醫生來說也有很大風險,更存在醫學倫理爭議。
鮑民表示,目前通過腦深部電刺激(deep brain stimulation,DBS)對殘障人士進行功能重建,在臨床上應用得比較多,“利用腦機接口,在大腦上植入芯片,然后幫助肢體的功能重建。比如說有的人手部功能有缺失,原來大腦的信號傳遞到胳膊上需要一個通路,受到損傷以后通路斷了,我們在臨床上通過腦機接口把通路重建。”
現在對于健康人來說最便利的還是非植入式腦機接口,它可以通過戴在頭上的“頭盔”讀取神經信號。這樣的方式相較于植入式來說不夠直接,需要濾除很多噪聲信號。因為神經細胞的放電信號從皮層經由顱骨傳到頭皮,相關電位會被大大削弱并帶來很大的噪聲干擾,因而無創傷式采集到的信號分辨率較低。
此前,浙江大學附屬第二醫院成功在一名癲癇患者顱內植入電極,能夠通過意念指揮機械手,做出“剪刀石頭布”的動作,被認為是中國腦機接口研究在運動功能重建應用上的重要進展。但其存在的問題也很明顯:在大腦皮層植入電極可以在相同時間內采集到更多、更準確的信號來反映大腦神經活動,但植入的皮層電極片不能長時間安置于腦內,患者在接受手術后最長一個月必須取出,很難作為“常規動作”進一步應用。鮑民還說,目前臨床上主要進行重建自身肢體功能的研究和應用,而用腦機接口控制“機械臂”乃至電腦,尚需更多的實驗。
光學神經成像系統 希望實現每分鐘輸出100個單詞
雖然視頻中的癱瘓病人已經實現了每分鐘輸出8個單詞,這已經是了不起的飛躍,但是,臉書的60人團隊并不滿足于此。雷吉娜·杜坎提出,如果不使用想象中的手臂移動,直接解碼語言呢?也就是說,機器會直接輸出你的想法,并且是只輸出你想表達的部分。這是建立在他們假定你決定要分享的內容才會被傳遞到大腦的語言中樞的前提下。
在這個想法驅動下,約翰霍普金斯大學的物理學家兼神經科學教授Mark Chevillet帶領超過60名科學家、工程師準備通過構建一套擁有極高的空間和時間分辨率的光學神經成像系統,以每秒100次的速度掃描大腦,以檢測大腦中的意識,并將其轉換成文本。
這套系統不同于以往的腦機接口,首先是無創。目前成功的腦機接口大部分都是有創的,需要在大腦某區域植入電極。除了開顱,電極的損耗、免疫系統的影響體現著植入電極記錄的不足,而這套光學神經成像系統采用無創傳感器。
另外,時間精度與空間精度都會得以提高。時間精度方面,當前的光學成像主要是功能性核磁共振(FMRI)和近紅外成像(NIRS)。但遺憾的是,這兩種成像原理都只是測量到血氧含量的變化;用來捕捉較快的單詞就會顯得力不從心了。以近紅外成像為例,產生神經活動時,該腦區的血流量和耗氧量都將增加;脫氧血紅蛋白和含氧血紅蛋白對光的吸收程度不同,由此可以通過對光的吸收來反映大腦皮層的血氧代謝情況,從而耦合腦區的活動。而神經活動的基本單位——以毫秒為單位的動作電位,反應的是鈉離子進入細胞、鉀離子排出細胞的過程。這套成像系統的優點在于可以追蹤測量的是動作電位中鈉鉀離子濃度變化時的光學特征,從而實現毫秒級的時間測量精度。
空間精度方面,可以測量用小時候玩過的紅色激光筆來對比分析:激光筆貼近手指的時候會發紅光,是因為大多數光子在通過手指的時候因為散射而導致成像精度下降。準彈道光子因為不會散射而保持了非常高的精度,因此即使是無創的設備,也能夠通過毛發、頭皮和1cm厚的頭骨解碼每一個單詞。
這個實時的無聲語言系統,希望實現每分鐘輸出100個單詞。對于有需要的患者來說,這種神經假體能夠提高增強現實的輸入自然性,也可以無創地測量與語言相關的神經活動,在此基礎上也能夠開發規模化應用的系統。此外,語言的內容不僅包括發音、拼寫,還包括語義。
通過皮膚聽別人說話在手部皮膚下植入傳感器來“聽對方說話”
還有一項技術就是通過觸覺震動傳感器將不同波段的震動編碼語言并被受試者理解,為聾啞盲人服務。
19世紀法國科學家發明的Braille盲文點字,使得盲人可以通過指尖接觸凸點來閱讀信息。20世紀早期發明的Tadoma識字法,通過與海倫·凱勒的合作,通過植入皮膚的觸覺震動傳感器感知講話時氣流壓力的改變,聲帶的振動,下顎的變化,從而理解復雜的語言輸入,并為盲聾兒童提供一種可規模化應用的溝通方法。
視頻中,實驗者通過在手部皮膚下植入傳感器,來“聽對方說話”,并且實現處理、理解甚至重現老師所講的話。這些話他無法看見、聽見,僅僅通過觸覺去感知,就重復出“請等一下”“你是不是忘了關燈”的原話。
大腦關于聽覺的加工大致是通過耳蝸對聲音執行傅里葉變化,將聲音以不同頻域的信息進行編碼,再由神經元進行計算。這項技術就是要實現能夠模仿耳蝸的作用,僅通過皮膚來傳輸分解后的頻率信息。
雷吉娜·杜坎表示,該技術的目的是打破語言障礙,幫助那些既不能閱讀也不能寫字的人更好地交流。屆時,人們不用說話和寫字就能通過類似可穿戴設備這樣的工具直接交流。“如果我們把這兩個項目放到一起,也許在不久的將來,一個說中文的人就可以直接和一個說西班牙語的人交流了。”
據介紹,該技術還可能擁有更廣泛的用途,比如可以讓人們在不看手機的情況下就能回復文字信息或電子郵件。