對于許多無法發出聲音的人來說，他們想說的話會通過某種信號隱藏在大腦中。

人類無法直接破譯這些信號。但是，最近有三個研究小組在“破譯”這種大腦語言密碼上取得了一定進展。

Science雜志最新報道了哥倫比亞大學（Columbia University）、德國不萊梅大學（Bremen）和加州大學舊金山分校的三個研究小組的相關研究：通過手術，他們在大腦上放置電極，搜集電極產生的數據，再將其通過計算機變成語音信息；接著通過神經網絡模型，他們重建了在某些情況下，可以被人類聽眾所理解的單詞和語句。

通過計算機讓失去語言能力的人表達自己并不罕見，物理學家斯蒂芬·霍金在世時，就會通過拉緊他的臉頰肌肉，以觸發安裝在眼鏡上的開關。對于經歷中風或其他疾病失去說話能力的人，他們可以使用他們的眼睛或做出其他小幅動作用來控制光標或選擇屏幕上的字母。

但是，如果腦機接口直接重塑語音，這樣的患者可能會重新獲得更多曾經喪失的能力：例如，控制音調變化，或者介入一個快速的對話。

研究該問題的道路困難重重。哥倫比亞大學（Columbia University）計算機科學家Nima Mesgarani說：“我們正試圖找出在不同時間點打開與關閉神經元的模式，并由此推斷語音內容?！?nbsp;“神經元間的映射并不淺顯直白。” 這些信號如何轉換為語音聲音因人而異，因此模型必須針對每個人進行獨特“訓練”。

這些模型將在非常精確的數據上表現最好——而搜集這些精準的數據需要打開我們的頭蓋骨。

研究人員只能在極少數情況下才會進行此類危險性記錄：一種情況是在移除腦腫瘤期間，暴露在外的大腦產生的電讀數能夠幫助外科醫生定位以避開關鍵的語音及運動區；另一種情況是在手術前為癲癇患者植入電極并保持數天以確定癲癇發作起因。

瑞士日內瓦大學神經工程師Stephanie Martin表示說，“我們最多只有20分鐘，最多30分鐘來收集數據——真的非常非常受限。”

新論文背后的研究組盡量最大化利用數據、將信息提供給神經網絡；神經網絡通過將信息傳遞到計算“節點”層來處理復雜的行為模式。網絡通過調整節點之間的連接來學習。本實驗則使用人類產生或聽到的語音以及與此同時大腦活動的數據來訓練神經網絡。

Mesgarani的團隊的研究使用了五名癲癇患者的數據。

隨著病人們聽到故事錄音以及0至9數字錄音，他們的神經網絡同步分析其聽覺皮層（該皮層在語音和聽力過程中都很活躍）活動。隨后計算機僅根據神經數據來重新生成數字。有一組聽眾會在計算機“說出”數字同時對其進行評估；其精確度大約為75%。

由德國不萊梅大學（Bremen）計算機科學家Tanja Schultz領導的另一個團隊使用了六名接受腦腫瘤手術的人的數據。

他們讓被測試者朗讀單音單詞，用麥克風捕捉他們的聲音。同時，大腦的語音規劃區和運動區產生的電極會被記錄下來（這些電極向聲道發送命令以清楚地表達單詞）。

現在正與馬斯特里赫特大學（Maastricht）合作的計算機科學家Miguel Angrick和Christian Herff訓練了一個將電極讀數映射到錄音然后從以前看不見的大腦數據中重建單詞神經網絡。根據一項計算機評分系統，大約40％的計算機生成單詞是可以理解的。

最后，加州大學舊金山分校的神經外科醫生Edward Chang和他的團隊根據由三名癲癇患者大聲朗讀語音引起的、從語言及運動區域捕獲的大腦活動，重建了整個句子。

在線上測試中，有166人聽懂了其中一個句子，并從10項文字選項中進行選擇。超過80％的情況下模型都能夠正確識別句子。研究人員還進一步改進了模型：他們使用它根據人類的唇語來重新創建句子。Herff說，這是一項重要的結果——“離我們所有人都設想到的‘語言修復’更近了一步。”

然而，“我們真正想知道的是當患者不能說話時，（這些方法）將能夠如何起作用”，加州圣地亞哥州立大學研究語言生成的神經科學家Stephanie Riès說。

一個人默默說話或在自己腦中聽到自己聲音時的信號，與真正說話或聽到某些內容時產生的信號并不是完全相同的。如果沒有外部聲音來匹配大腦活動，計算機甚至可能連理清內部語音開始與結束位置這種任務都很難完成。

奧爾巴尼紐約州衛生部國家自適應神經技術中心的神經工程師Gerwin Schalk說，解碼大腦中的演講將需要“科學大躍進”：“根本不清楚如何做到這一點。”

Herff說，有一種可能的方法，是向大腦-計算機交互界面的用戶提供反饋：如果他們能夠實時聽到計算機的語音解釋，他們可能能夠即時調整他們的想法以獲得理想結果。

通過對用戶和神經網絡的充分訓練，大腦和計算機可能最終能達成一致。

相關報道：

https://www.sciencemag.org/news/2019/01/artificial-intelligence-turns-brain-activity-speech?

fbclid=IwAR0bYvZRQQArCULCmbmboMNUDOw9lONPiJGObWagma6tDNuNQIl5oHhHKw4

編譯：張秋玥、笪潔瓊

文章來源：大數據文摘

IEEE Spectrum

《科技縱覽》

官方微信公眾平臺