人機介面

大脑和计算机之间的联系

腦機介面(英語:brain-computer interface,簡稱BCI;有時也稱作direct neural interface或者brain-machine interface),是在動物(或者腦細胞的培養物)與外部裝置間建立的直接連接通路。在單向人機介面的情況下,電腦接受腦傳來的命令,或者傳送訊號到腦,但不能同時傳送和接收訊號[1]。而雙向人機介面允許腦和外部裝置間的雙向資訊交換。

在該定義中,「腦」一詞意指有機生命形式神經系統,而並非僅僅是抽象的「心智」(mind)。「機」意指任何處理或運算的裝置,其形式可以從簡單電路到矽晶片

對人機介面的研究已持續了超過30年。1990年代中期以來,從實驗中獲得的此類知識顯著增長。在多年來動物實驗的實踐基礎上,應用於人體的早期植入裝置被設計及製造出來,用於恢復損傷的聽覺、視覺和肢體運動能力。研究的主線是大腦不同尋常的皮層可塑性,它與人機介面相適應,可以像自然肢體那樣控制植入的假肢。在當前所取得的技術與知識的進展之下,人機介面研究的先驅者們可令人信服地嘗試製造出增強人體功能的人機介面,而不僅僅止於恢復人體的功能。這種技術在以前還只存在於科幻小說之中。

人機介面與神經修復

神經修復是神經科學中和神經的修復相關的領域,即是用人工裝置(假體)替換掉原有功能已削弱的部分神經或感覺器官。神經假體最廣泛的應用是人工耳蝸,截止到2006年世界上已有大約十萬人植入[2]。也有一些神經假體是用於恢復視力的,如人工視網膜,但目前在這方面的工作僅僅局限於將人工裝置直接植入腦部。

人機介面和神經修復的區別主要從字面上就可見其端倪:「神經修復」通常指臨床上使用的裝置,而許多現有的人機介面仍然是實驗性質的。實踐上講神經假體可以和神經系統的任意部分相連接,如外周神經系統;而「人機介面」通常指一類範圍更窄的直接與腦相連接的系統。

由於目標和實現手段的相似性,「神經修復」和「人機介面」兩術語經常可以通用。神經修復和人機介面嘗試達到一個共同的目標,如恢復視覺、聽覺、運動能力,甚至是認知的能力。兩者都使用類似的實驗方法和外科手術技術。

動物人機介面研究

一些實驗室已實現從猴和大鼠的大腦皮層上記錄訊號以便操作人機介面來實現運動控制。實驗讓猴只是通過回想給定的任務(而沒有任何動作發生)來操縱螢幕上的電腦游標並且控制機械臂完成簡單的任務。另外在貓上進行的研究對視覺訊號進行了解碼。

早期工作

面向運動功能的人機介面

在面向運動功能的人機介面方面,發展演算法重建運動皮層神經元對運動的控制,該研究可以回溯到20世紀70年代。Schmidt, Fetz和Baker領導的小組在20世紀70年代證實了可以在閉環的操作性條件作用(closed-loop operant conditioning)後快速學會自由地控制初級運動皮層中單個神經元的放電頻率[3]。20世紀80年代,約翰斯·霍普金斯大學的Apostolos Georgopoulos找到了獼猴的上肢運動的方向和運動皮層中單個神經元放電模式的關係。他同時也發現,一組分散的神經元也能夠編碼肢體運動[4]

20世紀九十年代中期以來,面向運動的人機介面經歷了迅速的發展[5]。若干研究小組已經能夠使用神經叢集記錄技術即時捕捉運動皮層中的複雜神經訊號,並用來控制外部裝置。其中主要包括了Richard Andersen、John Donoghue、Phillip Kennedy、Miguel Nicolelis和Andrew Schwartz等人的研究小組。

面向感覺功能的人機介面

目前人類已經能夠修復或者正在嘗試修復的感覺功能包括聽覺視覺前庭感覺

人工耳蝸是迄今為止最成功、臨床應用最普及的人機介面。

視覺修復技術尚在研發之中。這方面的研究和應用落後於聽覺同能的主要原因是視覺傳遞資訊量的巨大和外周感覺器官(視網膜)和中樞視覺系統在功能上的相對複雜性。具體參見視覺假體

美國約翰·霍普金斯大學的Della Santina及其同事最近開發出一種可以修復三維前庭感覺的前庭植入物。 [6]

研究行程大事記

Phillip Kennedy及其同事用錐形營養性(neurotrophic-cone)電極植入術在猴上建造了第一個皮層內人機介面。

1999年,哈佛大學的Garrett Stanley試圖解碼視丘外側膝狀體內的神經元放電資訊來重建視覺圖像。他們記錄了177個神經元的脈衝列,使用濾波的方法重建了向貓播放的八段影片,從重建的結果中可以看到可辨認的物體和場景。[7]

杜克大學的Miguel Nicolelis是支援用覆蓋廣大皮層區域的電極來提取神經訊號、驅動人機介面的代表。他認為,這種方法的優點是能夠降低單個電極或少量電極採集到的神經訊號的不穩定性和隨機性。Nicolelis在1990年代完成在大鼠的初步研究後,在夜猴內實現了能夠提取皮層運動神經元的訊號來控制機器人手臂的實驗。到2000年為止,Nicolelis的研究組成功實現了一個能夠在夜猴操縱一個遊戲杆來取得食物時重現其手臂運動的人機介面。[8] 這個人機介面可以即時工作。它也可以通過網際網路遠端操控機械手臂。不過由於猴子本身不接受來自機械手臂的感覺回饋,這類人機介面是開環的。Nicolelis小組後來的工作使用了恆河猴[9][10]

其它設計人機介面演算法和系統來解碼神經元訊號的實驗室包括布朗大學的John Donoghue、匹茲堡大學的Andrew Schwartz、加州理工的Richard Anderson。這些研究者的腦機接在某一時刻使用的神經元數為15-30,比Nicolelis的50-200個顯著要少。Donoghue小組的主要工作是實現恆河猴對電腦螢幕上的游標的運動控制來追蹤視覺目標。其中猴子不需要運動肢體。[11] Schwartz小組的主要工作是虛擬實境的三維空間中的視覺目標追蹤,以及腦際介面對機械臂的控制。[12]. 這個小組宣稱,他們的猴子可以通過人機介面控制的機械臂來餵自己吃西葫蘆[13] Anderson的小組正在研究從後頂葉的神經元提取前運動訊號的人機介面。此類訊號包括實驗動物在期待獎勵時所產生訊號。[14]

除了以上所提及的這些用於計算肢體的運動參數的人機介面以外,還有用於計算肌肉的電訊號(肌電圖)的人機介面。[15] 此類人機介面的一個應用前景是通過刺激癱瘓病人的肌肉來重建其自主運動的功能。

人類人機介面研究

侵入式人機介面

侵入式人機介面主要用於重建特殊感覺(例如視覺)以及癱瘓病人的運動功能。此類人機介面通常直接植入到大腦的灰質,因而所取得的神經訊號的品質比較高。但其缺點是容易引發免疫反應愈傷組織),進而導致訊號品質的衰退甚至消失。

視覺人機介面方面的一位先驅是William Dobelle。他的皮層視覺人機介面主要用於後天失明的病人。1978年,Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,並成功製造了光幻視(Phosphene)。該人機介面系統包括一個採集影片的攝錄影機,訊號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低解析度、低重新整理頻率點陣圖像。該視覺假體系統是可攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。[16]

2002年,Jens Naumann成為了接受Dobelle的第二代皮層視覺假體植入的16位元病人中的第一位。第二代皮層視覺假體的特點是能將光幻視更好地對映到視野,建立更穩定均一的視覺。其光幻視點陣覆蓋的視野更大。接受植入後不久,Jens就可以自己在研究中心附近慢速駕車漫遊。

針對「運動神經假體」的人機介面方面,Emory大學的Philip Kennedy和Roy Bakay最先在人植入了可取得足夠高品質的神經訊號來類比運動的侵入性人機介面。他們的病人Johnny Ray患有腦幹中風導致的鎖閉症候群。Ray在1998年接受了植入,並且存活了足夠長的時間來學會用該人機介面來控制電腦游標。[17]

2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層人機介面臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式人機介面來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦游標控制等任務。其植入物位於前中回運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。 [18]

部分侵入式人機介面

部分侵入式人機介面一般植入到顱腔內,但是位於灰質外。其空間解析度不如侵入式人機介面,但是優於非侵入式。其另一優點是引發免疫反應和愈傷組織的機率較小。

皮層腦電圖(ECoG)的技術基礎和腦電圖的相似,但是其電極直接植入到大腦皮層上,硬腦膜下的區域。[19] 華盛頓大學(聖路易斯)的Eric Leuthardt和Daniel Moran是最早在人體試驗皮層腦電圖的研究者。根據一則報道,他們的基於皮層腦電圖的人機介面能夠讓一位少年男性病人玩電子遊戲[20] 同時該研究也發現,用基於皮層腦電圖的人機介面來實現多於一維的運動控制是比較困難的。

基於「光反應成像」的人機介面尚處在理論階段。其概念是在顱腔內植入可測量單神經元興奮狀態的微型感測器,以及受其驅動的微型雷射源。可用該雷射源的波長或時間模式的變化來編碼神經元的狀態,並將訊號傳送到顱腔外。該概念的優點是可在感染、免疫反應和愈傷反應的機率較小的條件下長時間監視單個神經元的興奮狀態。

非侵入式人機介面

和侵入式人機介面一樣,研究者也使用非侵入式的神經成像術作為腦機之間的介面在人身上進行了實驗。用這種方法記錄到的訊號被用來加強肌肉植入物的功能並使參加實驗的志願者恢復部分運動能力。雖然這種非侵入式的裝置方便佩戴於人體,但是由於顱骨對訊號的衰減作用和對神經元發出的電磁波的分散和模糊效應,記錄到訊號的解析度並不高。這種訊號波仍可被檢測到,但很難確定發出訊號的腦區或者相關的單個神經元的放電。

 
腦電圖機所記錄到的多導腦電圖訊號

腦電圖(EEG)作為有潛力的非侵入式人機介面已得到深入研究,這主要是因為該技術良好的時間解析度、易用性、可攜式性和相對低廉的價格。但該技術的一個問題是它對噪聲的敏感,另一個使用EEG作為人機介面的現實障礙是使用者在工作之前要進行大量的訓練。這方面研究的一個典型例子是德國圖賓根大學的Niels Birbaurmer於1990年代進行的專案。該專案利用癱瘓病人的腦電圖訊號使其能夠控制電腦游標。 [21] 經過訓練,十位癱瘓病人能夠成功地用腦電圖控制游標。但是游標控制的效率較低,在螢幕上寫100個字元需要1個小時,且訓練過程常耗時幾個月。在Birbaumer的後續研究中,多個腦電圖成分可被同時測量,包括μ波和β波。病人可以自主選擇對其最易用的成分進行對外部的控制。

與上述這種需要訓練的EEG人機介面不同,一種基於腦電P300訊號的人機介面不需要訓練,因為P300訊號是人看到熟識的物體時非自主地產生的。美國羅切斯特大學的Jessica Bayliss的2000年的一項研究顯示,受試者可以通過P300訊號來控制虛擬實境場景中的一些物體,例如開關燈或者操縱虛擬轎車等。 [22]

1999年,美國凱斯西儲大學由Hunter Peckham領導的研究組用64導腦電圖恢復了四肢癱瘓病人Jim Jatich的一定的手部運動功能。該技術分析腦電訊號中的β波,來分類病人所想的向上和向下兩個概念,進而控制一個外部開關。除此以外,該技術還可以使病人控制電腦游標以及驅動其手部的神經控制器,來一定程度上回覆運動功能。 [23]

應用類神經網路,電腦可以分擔病人的學習負擔。Fraunhofer學會2004年用這一技術顯著降低了人機介面訓練學習所需的時間。 [24]

Eduardo Miranda的一系列試驗旨在提取和音樂相關的腦電訊號,使得殘疾病人可以通過思考音樂來和外部交流,這種概念稱為「腦聲機」(encephalophone). [25]

腦磁圖(MEG)以及功能核磁共振成像(fMRI)都已成功實現非侵入式人機介面。例如在一項研究中,病人利用生物回饋技術可以用改變fMRI所檢測到的腦部血流訊號來控制桌球運動。 [26] 也有人用fMIR訊號來準確即時地控制機械臂,這一控制的延遲大約7秒左右。 [27]

成果商品化及公司介紹

John Donoghue及其同事創立了Cyberkinetics公司,宗旨是推動實用的人類人機介面技術的發展。該公司目前以Cybernetics神經技術公司為名在美國股市上市。BrainGate是該公司生產的電極陣列,該產品基於美國猶他大學的Richard Normann研發的「猶他」電極陣列。

Philip Kennedy創立了Neural Signals頁面存檔備份,存於網際網路檔案館)公司。該公司生產的腦際介面裝置使用玻璃錐內含的蛋白質包裹的微電極陣列,旨在促進電極和神經元之間的耦合。該公司除了生產侵入式腦際介面產品,還銷售一種可回覆言語功能的植入裝置。

2004年為止,William Dobelle建立的公司已經在16位元失明病人內植入了初級視皮層視覺假體。該公司目前仍在繼續研發視覺植入物,但這類產品至今沒有獲得FDA的批准,因而不能在美國境內使用於人類。 [28]

細胞培養物的人機介面

細胞培養物的人機介面是動物(或人)體外的培養皿中的神經組織和人造裝置之間的通訊機制。 這方面研究的焦點是建造具有問題解決能力的神經元網路,進而促成生物式電腦。 研究者有時在半導體晶片上培養神經組織,並且從這些神經細胞記錄訊號或對其進行刺激。這類研究常稱為「神經電子學」(Neuroelectronics)或「神經晶片」(Neurochips)。1997年,加州理工Jerome Pine和Michael Maher的團隊最先宣稱研製成功神經晶片。 [29]該晶片整合了16個神經元。

2003年,美國南加州大學的Theodore Berger小組開始研製能夠類比海馬體功能的神經晶片。該小組的目標是將這種神經晶片植入大鼠腦內,使其稱為第一種進階腦功能假體。他們之所以選擇海馬體作為研究對象,是因為其高度有序的組織以及豐富的研究文獻。海馬體的功能與記憶生成和長期記憶有關。

佛羅里達大學的Thomas DeMarse用提取自大鼠腦的包含25000個神經元的培養物來操控一個F-22戰鬥機類比程式。 [30] 這些神經元提起自大腦皮層,離體以後,它們在培養皿上迅速集結成活的神經元網路,並且與60個電極通訊,來控制戰鬥機的上下和左右搖擺運動。該專案的主要目的是研究人類的腦在細胞層面上如何學習特定的計算任務。

倫理問題

目前,關於人機介面的倫理學爭論尚不活躍,動物保護組織也對這方面的研究關注也不多。這主要是因為人機介面研究的目標是克服多種殘疾,也因為人機介面通常給予病人控制外部世界的能力,而不是被動接受外部世界的控制。(當然視覺假體人工耳蝸等感覺修復技術是例外。)

可以預見,未來當人機介面技術發展到一定程度後,將不但能修復殘疾人的受損功能,也能增強正常人的功能。例如腦深層刺激手術(DBS)技術可以用來治療抑鬱症帕金森氏病,將來也可能可以用來改變正常人的一些腦功能和個性。又例如,上文提及的海馬體神經晶片將來可能可以用來增強正常人的記憶。這可能將帶來一系列關於「何為人類」、「心靈控制」的問題爭論。

在虛構作品

人機介面或各種腦植入術一直以來都是科幻小說動漫科幻電影作為科幻主題。 例如:

參考文獻

  1. ^ S. P. Levine, J. E. Huggins, S. L. BeMent, R. K. Kushwaha, L. A. Schuh, M. M. Rohde, E. A. Passaro, D. A. Ross, K. V. Elisevich, and B. J. Smith,"A direct brain interface based on event-related potentials," IEEE Trans Rehabil Eng,vol. 8,第180-5頁,2000年
  2. ^ Laura Bailey. University of Michigan News Service. [2006年2月6日]. (原始內容存檔於2010年1月7日). 
  3. ^ Schmidt E M et al 1978 Fine control of operantly conditioned firing patterns of cortical neurons Exp. Neurol. 61 349–69
  4. ^ Georgopoulos AP, Lurito JT, Petrides M, Schwartz AB, Massey JT (1989) Mental rotation of the neuronal population vector. Science 243: 234-236
  5. ^ Lebedev MA, Nicolelis MA (2006),Brain-machine interfaces: past, present and future.[永久失效連結] Trends Neurosci 29: 536-546 Loaded 18 October 2006
  6. ^ Della Santina CC, Migliaccio AA, Patel AH (in press 2005) "Electrical Stimulation to Restore Vestibular Function - Development of a 3-D Vestibular Prosthesis," Proceedings of the IEEE-EMBS 2005 International Meeting,上海
  7. ^ G. B. Stanley, F. F. Li, and Y. Dan. Reconstruction of natural scenes from ensemble responses in the LGN 網際網路檔案館存檔,存檔日期2006-12-07.,J. Neurosci.,19(18):8036-8042,1999年
  8. ^ Wessberg J, Stambaugh CR, Kralik JD, Beck PD, Laubach M, Chapin JK, Kim J, Biggs SJ, Srinivasan MA, Nicolelis MA. (2000) Real-time prediction of hand trajectory by ensembles of cortical neurons in primates.頁面存檔備份,存於網際網路檔案館) Nature 16: 361-365
  9. ^ Carmena, J.M., Lebedev, M.A., Crist, R.E., O'Doherty, J.E., Santucci, D.M., Dimitrov, D.F., Patil, P.G., Henriquez, C.S., Nicolelis, M.A.L. (2003) Learning to control a brain-machine interface for reaching and grasping by primates.頁面存檔備份,存於網際網路檔案館) PLoS Biology, 1: 193-208
  10. ^ Lebedev, M.A., Carmena, J.M., O'Doherty, J.E., Zacksenhouse, M., Henriquez, C.S., Principe, J.C., Nicolelis, M.A.L. (2005) Cortical ensemble adaptation to represent actuators controlled by a brain machine interface.頁面存檔備份,存於網際網路檔案館) J. Neurosci. 25: 4681-4693
  11. ^ Serruya M.D., Hatsopoulos, N.G., Paninski, L., Fellows, M.R., Donoghue, J.P.,(2002) Instant neural control of a movement signal. Nature 416: 141-142
  12. ^ Taylor DM, Tillery SI, Schwartz AB (2002) Direct cortical control of 3D neuroprosthetic devices.Science 296: 1829-1832
  13. ^ Pitt team to build on brain-controlled arm 網際網路檔案館存檔,存檔日期2007-07-04.,Pittsburgh Tribune Review.2006年9月5日.
  14. ^ Musallam S, Corneil BD, Greger B, Scherberger H, Andersen RA (2004) Cognitive control signals for neural prosthetics. Science 305: 258-262
  15. ^ Santucci, David M.; Kralik, Jerald D.; Lebedev, Mikhail A.; Nicolelis, Miguel A. L. Frontal and parietal cortical ensembles predict single-trial muscle activity during reaching movements in primates. European Journal of Neuroscience (Wiley). 2005-09-27, 22 (6): 1529–1540. ISSN 0953-816X. doi:10.1111/j.1460-9568.2005.04320.x. 
  16. ^ Vision quest頁面存檔備份,存於網際網路檔案館),Wired Magazine,2002年9月
  17. ^ Kennedy, P.R., Bakay R.A. (1998) Restoration of neural output from a paralysed patient by a direct brain connection. Neuroreport. Jun 1;9(8):1707-11
  18. ^ Leigh R. Hochberg; Mijail D. Serruya, Gerhard M. Friehs, Jon A. Mukand, Maryam Saleh, Abraham H. Caplan, Almut Branner, David Chen, Richard D. Penn and John P. Donoghue. Neuronal ensemble control of prosthetic devices by a human with tetraplegia. Nature. 13 July 2006, 442: 164–171 [2006-09-10]. (原始內容存檔於2017-06-16). 
  19. ^ Serruya MD, Donoghue JP.(2003) Chapter III: Design Principles of a Neuromotor Prosthetic Device in Neuroprosthetics: Theory and Practice, ed. Kenneth W. Horch, Gurpreet S. Dhillon. Imperial College Press.
  20. ^ Teenager moves video icons just by imagination頁面存檔備份,存於網際網路檔案館),新聞稿,聖路易斯華盛頓大學,2006年10月9日
  21. ^ Just short of telepathy: can you interact with the outside world if you can't even blink an eye?頁面存檔備份,存於網際網路檔案館),Psychology Today,2003年5月至6月
  22. ^ 新聞稿頁面存檔備份,存於網際網路檔案館),羅徹斯特大學,3000年5月3日
  23. ^ The Next Brainiacs頁面存檔備份,存於網際網路檔案館Wired Magazine,2001年8月
  24. ^ Artificial Neural Net Based Signal Processing for Interaction with Peripheral Nervous System 網際網路檔案館存檔,存檔日期2007-09-30.. In: Proceedings of the 1st International IEEE EMBS Conference on Neural Engineering.第134-137頁.2003年3月20-22日
  25. ^ Mental ways to make music 網際網路檔案館存檔,存檔日期2007-09-26.,Cane, Alan,Financial Times,倫敦(英國),2005年4月22日,第12頁
  26. ^ Mental ping-pong could aid paraplegics頁面存檔備份,存於網際網路檔案館),Nature,2004年8月27日
  27. ^ To operate robot only with brain頁面存檔備份,存於網際網路檔案館),ATR and Honda develop BMI base technology,Tech-on,2006年5月26日
  28. ^ 新聞稿 網際網路檔案館存檔,存檔日期2006-09-10.,Stony Brook University Center for Biotechnology,2006年5月1日
  29. ^ 新聞稿頁面存檔備份,存於網際網路檔案館),加州理工學院,1997年10月27日
  30. ^ 'Brain' in a dish flies flight simulator頁面存檔備份,存於網際網路檔案館),CNN,2004年11月4日

參閲

技術:
腦植入術Cyberware神經修復術神經技術BrainGate
科學現象:
皮層可塑性神經叢集腦皮層電圖學(ECoG)
學科:
認知科學神經工程神經科學NBIC
推想:
意識上傳心智轉移全身控制
其它:
精神控制腦控人體增強術NeurohackingTranshumanism思想記錄與再現裝置

外部連結

相關組織

(相關大學或研究所請參見神經工程學條目「神經工程學實驗室」一節)

前文提及的研究者

連結和文獻