本文由"腦機介面社群"團隊原創編譯，轉載請聯絡授權。
近日，南加州大學(Universityof Southern California)維特比工程學院的研究人員正在使用生成對抗網路(GAN)來改善殘疾人的腦機介面。生成對抗網路(Generative Adversarial Networks, GAN)是一種生成式模型，以建立深度偽造影片和逼真的人臉而聞名。
該團隊在《Nature Biomedical Engineering》上發表的一篇論文中，成功地教會了 AI 生成合成大腦活動資料。這些資料，特別是稱為尖峰序列的神經訊號，可以被輸入到機器學習演算法中，以提高腦機介面(BCI)的可用性。
一、存在的問題
BCI 系統透過分析一個人的大腦訊號並將該神經活動轉換為命令來工作，允許使用者僅使用他們的思想來控制計算機游標等數字裝置。這些裝置可以改善運動功能障礙或癱瘓患者的生活質量，甚至是那些與閉鎖綜合症(一個人完全有意識，但無法移動或交流)作鬥爭的人。
從測量大腦訊號的帽子到植入大腦組織的裝置，各種形式的BCI已經可用。從神經康復到治療抑鬱症，新的用例一直在被發現。然而，要讓這些系統在現實世界中執行得足夠快、足夠健壯，是具有挑戰性的。
具體來說，為了理解他們的輸入，BCI 需要大量的神經資料和長時間的訓練、校準和學習。
計算機科學教授、該研究的合著者Laurent Itti表示，“如果癱瘓的人不能產生足夠強大的大腦訊號，為支援BCI的演算法獲取足夠的資料可能會非常困難、昂貴，甚至不可能。”
另一個障礙是：這項技術是特定於使用者的，必須為每個人從頭開始訓練。
二、生成合成神經資料
相反，如果您可以建立合成的神經學資料——人工計算機生成的資料——可以“代替”從現實世界獲得的資料，那會怎麼樣呢?
進入生成對抗網路。GAN 以建立“深度偽造”而聞名，它可以透過反覆試驗來建立幾乎無限數量的新的類似影象。
Itti 建議Shixian Wen，GANs是否也可以透過生成與真實資料難以區分的合成神經資料，為BCI建立訓練資料。
實驗範例和訓練基線 BCI LSTM 解碼器
在論文中描述的一項實驗中，研究人員首先記錄猴子伸手去拿物體時的一段神經資料。如上圖的實驗範例：猴子坐在影片螢幕前，抓住控制游標位置的平面操縱手柄。猴子對螢幕上隨機放置的一系列目標進行接觸動作，同時我們使用植入的電極陣列記錄初級運動皮層的神經活動。
研究人員利用這資料訓練一個深度學習尖峰合成器，如下圖b，訓練基線 BCI LSTM 解碼器。記錄的尖峰序列被輸入到 BCI LSTM 解碼器。
訓練基線 BCI LSTM 解碼器
之後，他們使用合成器生成大量類似的（儘管是假的）神經資料。具體步驟如下圖及步驟：
步驟 1. 在 Monkey C (S.1, M.C) 的第 1 次會話的神經資料上訓練尖峰合成器，以學習從運動學(kinematics)到尖峰序列的直接對映，並捕獲嵌入的神經屬性。高斯噪聲和實際運動學(kinematics)被輸入到尖峰(spike)合成器（由發生器和讀出器組成）。尖峰合成器首先使用生成器（雙向 LSTM 遞迴神經網路）透過雙向時變可泛化的內部表示（符號 t−1、t、t+1）學習嵌入的神經屬性，從而生成逼真的合成尖峰序列。
步驟 2. 調整尖峰合成器以根據真實運動學(kinematics)和高斯噪聲生成適合另一個會話或主題的合成尖峰序列。我們首先凍結生成器以保留先前學習的嵌入神經屬性或虛擬神經元。然後，我們使用來自另一個會話或主題（猴子 C (S.2, M.C) 的會話 2 或猴子 M (S.1, M.M) 的會話 1）的有限神經資料替換和微調讀出模組。微調的讀出模組將這些神經屬性的捕獲表達調整為適合另一個會話或主題的尖峰序列。
步驟 3. 使用用於微調的相同少量真實神經資料（在步驟 2 中）和大量合成尖峰序列（在步驟 2 中）的組合，為另一個會話或主題訓練 BCI 解碼器。
總體框架
然後，研究小組將合成的資料與少量新的真實資料(要麼來自同一只猴子在不同的一天，要麼來自不同的猴子)結合起來，以訓練BCI。這種方法使系統啟動和執行比目前的標準方法快得多。事實上，研究人員發現GAN合成的神經資料將BCI的整體訓練速度提高了多達 20 倍。
“不到一分鐘的真實資料與合成數據結合起來，就能達到20分鐘的真實資料效果，”Wen說。
歸一化位置活動圖，構建為作為位置函式的神經活動直方圖
“這是我們第一次看到人工智慧透過建立合成尖峰序列來產生思維或運動的訣竅。這項研究是使BCIs更適合實際使用的關鍵一步。”
此外，在一個實驗階段的訓練之後，該系統利用有限的額外神經資料迅速適應新的階段或受試者。
Itti說:“這是一個重大的創新——當這個人想象做不同的動作時，製造出假的資料序列，看起來就像來自同一個人，然後也利用這些資料來幫助學習下一個人。”
除了 BCI 之外，GAN 生成的合成數據可以透過加速訓練和提高效能，在其他需要大量資料的人工智慧領域取得突破。
參考：
Shixian Wen et al, Rapid adaptation of brain–computer interfaces to new neuronal ensembles or participants via generative modelling, Nature Biomedical Engineering (2021).DOI: 10.1038/s41551-021-00811-z
https://medicalxpress.com/news/2021-11-deepfaking-mind-brain-computer-interfaces-people.html
