虛擬現實技術作為一種先進的計算機模擬模擬技術,目前已經在多個領域得到了廣泛的應用。例如,在軍事領域,透過虛擬現實技術進行軍事模擬演練,能以低廉的成本、逼真的效果最大程度地代替實戰訓練,在讓官兵儘快熟悉武器裝備系統、提升部隊戰鬥力、節省開支、最佳化資源配置、提高指揮決策水平等。
在醫療與康復領域,對於肢體受傷的殘障患者,基於虛擬現實的康復訓練可以為其提供有趣味性的綜合性訓練、精確的感覺回饋、安全的訓練環境。根據患者的心理狀態和病情,虛擬現實技術可以選擇相應的康復訓練場景和任務,以多種反饋形式激發和維持患者康復訓練的主動性,提高康復效果。
沉浸感、互動性和構想性是虛擬現實系統的三個基本特徵。傳統的虛擬現實互動方式主要有VR手柄、資料手套、動作捕捉等。隨著資訊科技的不斷髮展,虛擬現實的人機互動技術出現了一些新的方法,例如,基於腦電、肌電等神經電訊號的互動方式。這些不斷湧現的人機互動技術大大增強了虛擬現實的沉浸式體驗。作為納斯達克上市企業“微美全息US.WIMI”旗下研究機構“微美全息科學院”的科學家們對一種新型的虛擬現實互動技術-基於眼電(EOG)的互動技術進行介紹。
基於眼電的虛擬現實互動技術
基於EOG訊號的虛擬現實互動系統主要包括三個部分,分別是訊號採集部分、眼電訊號處理部分和虛擬現實場景部分,系統結構圖如圖1所示。系統工作時,使用者實時接收來自虛擬現實場景的激勵訊號,使用者根據激勵訊號做出相應的眼部動作,訊號採集裝置實時採集使用者的EOG訊號,然後透過一系列的訊號處理,轉換成對虛擬現實場景的控制指令,使虛擬現實場景執行相對應的命令,同時以視覺的方式向用戶進行反饋。
圖1. 基於眼電的虛擬現實互動系統
1.1 眼電訊號採集
眼電訊號是由角膜和視網膜之間的電勢差而引起,可以用於反映眼球的運動,其幅值一般在0.4到10mV之間。相對於腦電訊號來說,對眼電訊號的採集較為簡單方便,通常只需要少量的幾個電極即可完成。如圖2所示,可以使用6個電極來採集眼電訊號。其中,電極A和電極D分佈在眼球周圍的上方和下方的位置,用於採集垂直方向上的眼電訊號,其主要是由於眼球的上下運動或者眨眼而產生,電極B和電極C分佈在眼球周圍的左側和右側的位置,用於採集水平方向上的眼電訊號,其主要是由於眼球的左右運動而產生。人體眼球在進行各種不同種類的運動時,會產生不同特徵的EOG訊號,可以透過設計相應的演算法對EOG訊號的特徵進行識別從而將其轉化為外部裝置的控制命令,構建出基於EOG的人機互動系統。EOG訊號相對於腦電訊號而言,通常具有更高的幅值和更穩定的波形形狀,因此,對EOG訊號的檢測要更為容易。
圖2. 眼電電極分佈示意
1.2 眼電訊號處理
眼電訊號處理主要包含訊號預處理、特徵提取、波形檢測和分類識別等幾大步驟。
(1)訊號預處理
對原始眼電訊號進行預處理的方法有很多,包括訊號放大、基線校準、偽跡去除、下采樣等方法。眼電訊號所處的頻段較低,且原始的眼電訊號中一般混雜有人體其它生物電訊號和外界電力工頻噪聲的干擾訊號,故在預處理環節,一般透過低通濾波、小波變換等方法來減弱或消除基線漂移和高頻噪聲帶來的干擾。
(2)波形檢測
波形檢測的基本原理是透過在上述預處理之後所得到的特徵向量F(即差分後的眼電訊號波形)的幅度和訊號持續時間來判斷受試者是否執行了有效的單次眨眼動作。在圖3中可以觀察到,差分眼電訊號波形中存在著非常明顯的峰-谷特性,且波谷出現在波峰之後。
圖3. 單次眨眼動作產生的典型眼電訊號波形差分前後對比圖
對每一次激勵訊號後的提取出的特徵向量F波形檢測時,首先需要在F中找到波峰波谷的位置(具體方法為將特徵向量F的極值點中數值最大的視為波峰,波峰對應的時間點設為tpeak;極值點中數值最小的視為波谷,波谷對應的時間點設為tvalley),然後對得到的對應於不同激勵訊號的特徵向量F,分別計算每個特徵向量中波峰和波谷之間的間隔時間tinterval和累積能量e,它們的計算方法如下式:
最後,透過如下公式來判斷是否存在眨眼動作:
其中,Tmin和Tmax為眨眼時間的上下閾值,E為眨眼能量閾值。
(3)特徵提取
在進行特徵提取之前,一般要先提取出單個的眼電訊號資料段,資料段的長度根據實際情況進行設計,特徵向量一般也針對單個週期的眼電訊號進行提取。需要注意的是,所提取的特徵向量要能有效地代表眼電訊號的特徵,具有良好的區分性和獨立性,而且要易於計算。眼電訊號特徵提取的方法有基於訊號波形的形狀特徵提取法、小波變換法等等。
(4)分類識別
目前最常見的用於對眼電訊號的特徵進行分類的方法莫過於閾值法,此外,像支援向量機、BP 神經網路、線性判別分析等方法也可以應用到眼電訊號的特徵分類識別中來。每種方法都有各自的優點和侷限性,應當根據實際情況選擇最合適的處理方法。
2. 結束語
虛擬現實技術至今已有40年左右的發展歷程,傳統的虛擬現實互動方式主要有手柄、資料手套、動作捕捉等。近些年來,一些研究開始把基於生物電訊號(包括眼電、腦電等)的人機互動和虛擬現實相結合。結合的方式通常是設計一個虛擬沉浸式的三維圖形介面和反饋系統,其中使用者可以使用人體生物電訊號作為通訊媒介與虛擬環境進行實時互動。這種基於生物電訊號的虛擬現實互動技術的潛在發展前景主要包含兩個方面。一方面,生物電可以作為虛擬現實系統的一種新型輸入訊號,改變了傳統的與虛擬環境互動的方式。與傳統裝置相比,基於生物電訊號的互動方式不需要依賴任何動作和語言,互動過程更為簡單、直接。另一方面,虛擬現實技術也可以作為提高人機互動系統性能的一個有用工具。傳統的人機互動系統中,使用者介面通常是顯示在螢幕上的一些簡單的二維圖形,與之相比,虛擬現實可以為使用者提供更豐富多彩、更具有激勵性的刺激與反饋資訊,有助於提高系統的效能與易用性。此外,虛擬現實也可以為各種人機互動技術的應用原型提供一個安全、靈活的訓練和測試平臺。
微美全息科學院成立於2020年8月,致力於全息AI視覺探索科技未知,以人類願景為驅動力,開展基礎科學和創新性技術研究。全息科學創新中心致力於全息AI視覺探索科技未知, 吸引、集聚、整合全球相關資源和優勢力量,推進以科技創新為核心的全面創新,開展基礎科學和創新性技術研究。微美全息科學院計劃在以下範疇拓展對未來世界的科學研究:
一、全息計算科學:腦機全息計算、量子全息計算、光電全息計算、中微子全息計算、生物全息計算、磁浮全息計算
二、全息通訊科學:腦機全息通訊、量子全息通訊、暗物質全息通訊、真空全息通訊、光電全息通訊、磁浮全息通訊
三、微整合科學:腦機微整合、中微子微整合、生物微整合、光電微整合、量子微整合、磁浮微整合
四、全息雲科學:腦機全息雲、量子全息雲、光電全息雲
以下是微美全息科學院的部分科學家成員:
郭松睿,湖南大學計算機科學技術工學博士,曾在中科院科學計算國家重點實驗室和現實技術研修班學習混合現實,增強現實技術,參與研發多個重點專案。
江濤,中國科學院瀋陽自動化研究所博士,機器人學國家重點實驗室,研究方向為微型仿生飛行器的氣動/結構設計、控制與系統開發,在2018年獲得 ICRCA-2018 機器人 EI 國際會議"最佳論文獎"。
楊軍超,重慶郵電大學通訊與資訊工程學院資訊與通訊工程專業博士研究生,華盛頓大學電子工程學院聯合培養博士,長期研究虛擬現實、5G多媒體傳輸最佳化、基於MEC的智慧轉碼最佳化,以第一作者發表SCI/EI 論文 6 篇,中文核心 1 篇,申請專利 4 項。
李維娜 ,2017 年博士畢業於韓國忠北國立大學的資訊和通訊工程學院。2017 年 8 月去了新加坡的 Singapore-MIT Alliance for research and technology centre(SMART)從事壓縮全息(compressive digital holography)的博士後工作,2018 年 11 月進入清華大學深圳國際研究生院的先進製造學部,在以前工作的基礎上把數字全息(digital holography)拓展到機器學習(machinelearning)領域,特別是對 U 型網路(U-net)的改進和應用。在上述研究領域以第一作者發表高水平論文 5 篇,以第二作者發表的高水平論文2 篇。
曲曉峰,香港理工大學博士,現任清華大學深圳研究生院博士後,主要研究生物特徵識別、機器視覺、模式識別,與綠米聯創合作進行嵌入式產品演算法、深度學習應用、影象與影片相關演算法以及生物特徵識別相關產品的開發。
危昔均,香港理工大學康復治療科學系博士,南方醫科大學深圳醫院虛擬現實康復實驗室負責人,主要研究基於虛擬現實技術的康復系統搭建及相關臨床和基礎研究。
單羽,昆士蘭科技大學數字媒體研究中心(澳大利亞)博士,研究方向為虛擬現實娛樂產業與亞洲創意經濟,曾參加多場虛擬現實產業的國際學術會議並發表主題演講,發表多篇以“虛擬現實藝術”相關的學術論文,並參與國內多個虛擬現實娛樂產業領域的專案研究。
李社,哈爾濱工業大學博士,主要研究方向為手性光子晶體、手性光子晶體光纖及感測。參與國家自然基金、黑龍江省基金等多項專案,發表論文多篇,其中SCI檢索3篇,EI一篇。獲黑龍江省科技進步獎二等獎一項。
喬牧,哈爾濱工程大學博士,研究方向包括VR設計原理等,發表過多篇科技論文,參與了多項科研專案,包括國家自然基金專案、黑龍江省教育廳科研專案等,曾取得三項科技獎勵,獲得兩項實用新型專利和一項發明專利。
滕達,中國鐵道科學研究院博士,研究方向包括計算機科學與技術自然語言處理、資訊工程及控制等,曾主持多項相關課題的研究,參與發表多篇學術論文,已申請發明專利3項。
田雪松,哈爾濱工業大學博士,研究方向包括圖形影象光電資訊處理及感測技術、量子通訊電子物理研究、鐳射防護用氧化釩薄膜效能研究等,曾發表多篇相關學術論文,曾參與多個國防科技預研跨行業綜合技術專案。
朱學群 ,北京林業大學博士,具備交叉學科背景,擅長數理統計、量化分析、科學管理,主導多個重點全息AR專案實施,在材料、顯示理論與研究很深的行業經驗,是新華網中國雙創導師、北京市海歸科協雙創導師。
李遷,北京科技大學博士,研究方向包括材料加工分析、鍍膜、工業VR等,在鐳射共聚焦顯微鏡、掃描電鏡、透射電鏡等進行深入研究,對於分子材料、材料連線技術方向曾參與發表多篇相關論文。
赫萬佳,香港理工大學博士,主要研究基於虛擬現實技術的康復系統及相關臨床和基礎研究,曾參與發表多篇相關論文及多個相關專案的研究。
周福禮,重慶大學博士,為國際學術協會會員。主要研究方向包括VR/AR驅動商業模式創新、大資料商務分析等,發表相關論文30餘篇,其中SCI/SSCI檢索10餘篇,EI期刊12篇,CSSCI 1篇,曾經主持多個省部級專案。
劉偉星,中國科學院大連化學物理研究所博士,研究方向包括AR 衍射光波導的光柵設計,包括效率、顯示均勻性、成像質量最佳化、AR 技術技術路線的探索和調研等。曾發表多篇相關論文及主導多個相關專案,且獲已授權專利 8 項。
李慶普,上海理工大學博士,在虛擬現實領域有豐富的研究經驗及專案實踐經驗,曾參與基於計算機觸覺技術的虛擬醫療模擬技術研究、汽車模擬駕駛模擬研究、多體感VR硬體研發及VR實訓安全教育等多個專案。其已發表多篇相關論文並取得多項專利。
微美全息科學院旨在促進計算機科學和全息、量子計算等相關領域面向實際行業場景和未來世界的前沿研究。建立產研合作平臺,促進重大科技創新應用,打造產業、研究中心深度融合的生態圈。微美全息科學院秉承“讓有人的地方就有科技”為使命,專注未來世界的全息科學研究,為全球人類科技進步添磚加瓦。
微美全息成立於2015年,納斯達克股票程式碼:WiMi。
微美全息專注於全息雲服務,主要聚集在車載AR全息HUD、3D全息脈衝LiDAR、頭戴光場全息裝置、全息半導體、全息雲軟體、全息汽車導航、元宇宙全息AR/VR裝置、元宇宙全息雲軟體等專業領域,覆蓋從全息車載AR技術、3D全息脈衝LiDAR技術、全息視覺半導體技術、全息軟體開發、全息AR虛擬廣告技術、全息AR虛擬娛樂技術、全息ARSDK支付、互動全息虛擬通訊、元宇宙全息AR技術,元宇宙虛擬雲服務等全息AR技術的多個環節,是一家全息雲綜合技術方案提供商。
