sponsored links

微美全息科學院:虛擬現實中基於眼電的人機互動技術

虛擬現實技術作為一種先進的計算機模擬模擬技術,目前已經在多個領域得到了廣泛的應用。例如,在軍事領域,透過虛擬現實技術進行軍事模擬演練,能以低廉的成本、逼真的效果最大程度地代替實戰訓練,在讓官兵儘快熟悉武器裝備系統、提升部隊戰鬥力、節省開支、最佳化資源配置、提高指揮決策水平等。

在醫療與康復領域,對於肢體受傷的殘障患者,基於虛擬現實的康復訓練可以為其提供有趣味性的綜合性訓練、精確的感覺回饋、安全的訓練環境。根據患者的心理狀態和病情,虛擬現實技術可以選擇相應的康復訓練場景和任務,以多種反饋形式激發和維持患者康復訓練的主動性,提高康復效果。

沉浸感、互動性和構想性是虛擬現實系統的三個基本特徵。傳統的虛擬現實互動方式主要有VR手柄、資料手套、動作捕捉等。隨著資訊科技的不斷髮展,虛擬現實的人機互動技術出現了一些新的方法,例如,基於腦電、肌電等神經電訊號的互動方式。這些不斷湧現的人機互動技術大大增強了虛擬現實的沉浸式體驗。作為納斯達克上市企業“微美全息US.WIMI”旗下研究機構“微美全息科學院”的科學家們對一種新型的虛擬現實互動技術-基於眼電(EOG)的互動技術進行介紹。

基於眼電的虛擬現實互動技術

基於EOG訊號的虛擬現實互動系統主要包括三個部分,分別是訊號採集部分、眼電訊號處理部分和虛擬現實場景部分,系統結構圖如圖1所示。系統工作時,使用者實時接收來自虛擬現實場景的激勵訊號,使用者根據激勵訊號做出相應的眼部動作,訊號採集裝置實時採集使用者的EOG訊號,然後透過一系列的訊號處理,轉換成對虛擬現實場景的控制指令,使虛擬現實場景執行相對應的命令,同時以視覺的方式向用戶進行反饋。

微美全息科學院:虛擬現實中基於眼電的人機互動技術

圖1. 基於眼電的虛擬現實互動系統

1.1 眼電訊號採集

眼電訊號是由角膜和視網膜之間的電勢差而引起,可以用於反映眼球的運動,其幅值一般在0.4到10mV之間。相對於腦電訊號來說,對眼電訊號的採集較為簡單方便,通常只需要少量的幾個電極即可完成。如圖2所示,可以使用6個電極來採集眼電訊號。其中,電極A和電極D分佈在眼球周圍的上方和下方的位置,用於採集垂直方向上的眼電訊號,其主要是由於眼球的上下運動或者眨眼而產生,電極B和電極C分佈在眼球周圍的左側和右側的位置,用於採集水平方向上的眼電訊號,其主要是由於眼球的左右運動而產生。人體眼球在進行各種不同種類的運動時,會產生不同特徵的EOG訊號,可以透過設計相應的演算法對EOG訊號的特徵進行識別從而將其轉化為外部裝置的控制命令,構建出基於EOG的人機互動系統。EOG訊號相對於腦電訊號而言,通常具有更高的幅值和更穩定的波形形狀,因此,對EOG訊號的檢測要更為容易。

微美全息科學院:虛擬現實中基於眼電的人機互動技術

圖2. 眼電電極分佈示意

1.2 眼電訊號處理

眼電訊號處理主要包含訊號預處理、特徵提取、波形檢測和分類識別等幾大步驟。

(1)訊號預處理

對原始眼電訊號進行預處理的方法有很多,包括訊號放大、基線校準、偽跡去除、下采樣等方法。眼電訊號所處的頻段較低,且原始的眼電訊號中一般混雜有人體其它生物電訊號和外界電力工頻噪聲的干擾訊號,故在預處理環節,一般透過低通濾波、小波變換等方法來減弱或消除基線漂移和高頻噪聲帶來的干擾。

(2)波形檢測

波形檢測的基本原理是透過在上述預處理之後所得到的特徵向量F(即差分後的眼電訊號波形)的幅度和訊號持續時間來判斷受試者是否執行了有效的單次眨眼動作。在圖3中可以觀察到,差分眼電訊號波形中存在著非常明顯的峰-谷特性,且波谷出現在波峰之後。

微美全息科學院:虛擬現實中基於眼電的人機互動技術

圖3. 單次眨眼動作產生的典型眼電訊號波形差分前後對比圖

對每一次激勵訊號後的提取出的特徵向量F波形檢測時,首先需要在F中找到波峰波谷的位置(具體方法為將特徵向量F的極值點中數值最大的視為波峰,波峰對應的時間點設為tpeak;極值點中數值最小的視為波谷,波谷對應的時間點設為tvalley),然後對得到的對應於不同激勵訊號的特徵向量F,分別計算每個特徵向量中波峰和波谷之間的間隔時間tinterval和累積能量e,它們的計算方法如下式:

微美全息科學院:虛擬現實中基於眼電的人機互動技術

最後,透過如下公式來判斷是否存在眨眼動作:

微美全息科學院:虛擬現實中基於眼電的人機互動技術

其中,Tmin和Tmax為眨眼時間的上下閾值,E為眨眼能量閾值。

(3)特徵提取

在進行特徵提取之前,一般要先提取出單個的眼電訊號資料段,資料段的長度根據實際情況進行設計,特徵向量一般也針對單個週期的眼電訊號進行提取。需要注意的是,所提取的特徵向量要能有效地代表眼電訊號的特徵,具有良好的區分性和獨立性,而且要易於計算。眼電訊號特徵提取的方法有基於訊號波形的形狀特徵提取法、小波變換法等等。

(4)分類識別

目前最常見的用於對眼電訊號的特徵進行分類的方法莫過於閾值法,此外,像支援向量機、BP 神經網路、線性判別分析等方法也可以應用到眼電訊號的特徵分類識別中來。每種方法都有各自的優點和侷限性,應當根據實際情況選擇最合適的處理方法。

2. 結束語

虛擬現實技術至今已有40年左右的發展歷程,傳統的虛擬現實互動方式主要有手柄、資料手套、動作捕捉等。近些年來,一些研究開始把基於生物電訊號(包括眼電、腦電等)的人機互動和虛擬現實相結合。結合的方式通常是設計一個虛擬沉浸式的三維圖形介面和反饋系統,其中使用者可以使用人體生物電訊號作為通訊媒介與虛擬環境進行實時互動。這種基於生物電訊號的虛擬現實互動技術的潛在發展前景主要包含兩個方面。一方面,生物電可以作為虛擬現實系統的一種新型輸入訊號,改變了傳統的與虛擬環境互動的方式。與傳統裝置相比,基於生物電訊號的互動方式不需要依賴任何動作和語言,互動過程更為簡單、直接。另一方面,虛擬現實技術也可以作為提高人機互動系統性能的一個有用工具。傳統的人機互動系統中,使用者介面通常是顯示在螢幕上的一些簡單的二維圖形,與之相比,虛擬現實可以為使用者提供更豐富多彩、更具有激勵性的刺激與反饋資訊,有助於提高系統的效能與易用性。此外,虛擬現實也可以為各種人機互動技術的應用原型提供一個安全、靈活的訓練和測試平臺。

微美全息科學院成立於2020年8月,致力於全息AI視覺探索科技未知,以人類願景為驅動力,開展基礎科學和創新性技術研究。全息科學創新中心致力於全息AI視覺探索科技未知, 吸引、集聚、整合全球相關資源和優勢力量,推進以科技創新為核心的全面創新,開展基礎科學和創新性技術研究。微美全息科學院計劃在以下範疇拓展對未來世界的科學研究:

一、全息計算科學:腦機全息計算、量子全息計算、光電全息計算、中微子全息計算、生物全息計算、磁浮全息計算

二、全息通訊科學:腦機全息通訊、量子全息通訊、暗物質全息通訊、真空全息通訊、光電全息通訊、磁浮全息通訊

三、微整合科學:腦機微整合、中微子微整合、生物微整合、光電微整合、量子微整合、磁浮微整合

四、全息雲科學:腦機全息雲、量子全息雲、光電全息雲

以下是微美全息科學院的部分科學家成員:

郭松睿,湖南大學計算機科學技術工學博士,曾在中科院科學計算國家重點實驗室和現實技術研修班學習混合現實,增強現實技術,參與研發多個重點專案。

江濤,中國科學院瀋陽自動化研究所博士,機器人學國家重點實驗室,研究方向為微型仿生飛行器的氣動/結構設計、控制與系統開發,在2018年獲得 ICRCA-2018 機器人 EI 國際會議"最佳論文獎"。

楊軍超,重慶郵電大學通訊與資訊工程學院資訊與通訊工程專業博士研究生,華盛頓大學電子工程學院聯合培養博士,長期研究虛擬現實、5G多媒體傳輸最佳化、基於MEC的智慧轉碼最佳化,以第一作者發表SCI/EI 論文 6 篇,中文核心 1 篇,申請專利 4 項。

李維娜 ,2017 年博士畢業於韓國忠北國立大學的資訊和通訊工程學院。2017 年 8 月去了新加坡的 Singapore-MIT Alliance for research and technology centre(SMART)從事壓縮全息(compressive digital holography)的博士後工作,2018 年 11 月進入清華大學深圳國際研究生院的先進製造學部,在以前工作的基礎上把數字全息(digital holography)拓展到機器學習(machinelearning)領域,特別是對 U 型網路(U-net)的改進和應用。在上述研究領域以第一作者發表高水平論文 5 篇,以第二作者發表的高水平論文2 篇。

曲曉峰,香港理工大學博士,現任清華大學深圳研究生院博士後,主要研究生物特徵識別、機器視覺、模式識別,與綠米聯創合作進行嵌入式產品演算法、深度學習應用、影象與影片相關演算法以及生物特徵識別相關產品的開發。

危昔均,香港理工大學康復治療科學系博士,南方醫科大學深圳醫院虛擬現實康復實驗室負責人,主要研究基於虛擬現實技術的康復系統搭建及相關臨床和基礎研究。

單羽,昆士蘭科技大學數字媒體研究中心(澳大利亞)博士,研究方向為虛擬現實娛樂產業與亞洲創意經濟,曾參加多場虛擬現實產業的國際學術會議並發表主題演講,發表多篇以“虛擬現實藝術”相關的學術論文,並參與國內多個虛擬現實娛樂產業領域的專案研究。

李社,哈爾濱工業大學博士,主要研究方向為手性光子晶體、手性光子晶體光纖及感測。參與國家自然基金、黑龍江省基金等多項專案,發表論文多篇,其中SCI檢索3篇,EI一篇。獲黑龍江省科技進步獎二等獎一項。

喬牧,哈爾濱工程大學博士,研究方向包括VR設計原理等,發表過多篇科技論文,參與了多項科研專案,包括國家自然基金專案、黑龍江省教育廳科研專案等,曾取得三項科技獎勵,獲得兩項實用新型專利和一項發明專利。

滕達,中國鐵道科學研究院博士,研究方向包括計算機科學與技術自然語言處理、資訊工程及控制等,曾主持多項相關課題的研究,參與發表多篇學術論文,已申請發明專利3項。

田雪松,哈爾濱工業大學博士,研究方向包括圖形影象光電資訊處理及感測技術、量子通訊電子物理研究、鐳射防護用氧化釩薄膜效能研究等,曾發表多篇相關學術論文,曾參與多個國防科技預研跨行業綜合技術專案。

朱學群 ,北京林業大學博士,具備交叉學科背景,擅長數理統計、量化分析、科學管理,主導多個重點全息AR專案實施,在材料、顯示理論與研究很深的行業經驗,是新華網中國雙創導師、北京市海歸科協雙創導師。

李遷,北京科技大學博士,研究方向包括材料加工分析、鍍膜、工業VR等,在鐳射共聚焦顯微鏡、掃描電鏡、透射電鏡等進行深入研究,對於分子材料、材料連線技術方向曾參與發表多篇相關論文。

赫萬佳,香港理工大學博士,主要研究基於虛擬現實技術的康復系統及相關臨床和基礎研究,曾參與發表多篇相關論文及多個相關專案的研究。

周福禮,重慶大學博士,為國際學術協會會員。主要研究方向包括VR/AR驅動商業模式創新、大資料商務分析等,發表相關論文30餘篇,其中SCI/SSCI檢索10餘篇,EI期刊12篇,CSSCI 1篇,曾經主持多個省部級專案。

劉偉星,中國科學院大連化學物理研究所博士,研究方向包括AR 衍射光波導的光柵設計,包括效率、顯示均勻性、成像質量最佳化、AR 技術技術路線的探索和調研等。曾發表多篇相關論文及主導多個相關專案,且獲已授權專利 8 項。

李慶普,上海理工大學博士,在虛擬現實領域有豐富的研究經驗及專案實踐經驗,曾參與基於計算機觸覺技術的虛擬醫療模擬技術研究、汽車模擬駕駛模擬研究、多體感VR硬體研發及VR實訓安全教育等多個專案。其已發表多篇相關論文並取得多項專利。

微美全息科學院旨在促進計算機科學和全息、量子計算等相關領域面向實際行業場景和未來世界的前沿研究。建立產研合作平臺,促進重大科技創新應用,打造產業、研究中心深度融合的生態圈。微美全息科學院秉承“讓有人的地方就有科技”為使命,專注未來世界的全息科學研究,為全球人類科技進步添磚加瓦。

微美全息成立於2015年,納斯達克股票程式碼:WiMi。

微美全息專注於全息雲服務,主要聚集在車載AR全息HUD、3D全息脈衝LiDAR、頭戴光場全息裝置、全息半導體、全息雲軟體、全息汽車導航、元宇宙全息AR/VR裝置、元宇宙全息雲軟體等專業領域,覆蓋從全息車載AR技術、3D全息脈衝LiDAR技術、全息視覺半導體技術、全息軟體開發、全息AR虛擬廣告技術、全息AR虛擬娛樂技術、全息ARSDK支付、互動全息虛擬通訊、元宇宙全息AR技術,元宇宙虛擬雲服務等全息AR技術的多個環節,是一家全息雲綜合技術方案提供商。

分類: 財經
時間: 2022-02-17

相關文章

呼吸道疾病進入高發期,如何做好預防?專家:應科學安排衣食住行

呼吸道疾病進入高發期,如何做好預防?專家:應科學安排衣食住行
北京疾控中心指出,在我國,特別是寒冷地區,每年的10月-次年3月為呼吸道疾病的高發季. 目前,全球新冠疫情還在蔓延,而我國也迎來秋冬季,氣溫的降低有利於細菌.病毒的存活和傳播,特別是抵抗力較低.患有慢 ...

駐守蚌埠的劉汝明在母親收到蔣介石壽禮後,決心把周鎬逮捕送給蔣

駐守蚌埠的劉汝明在母親收到蔣介石壽禮後,決心把周鎬逮捕送給蔣
解放戰爭時期,國民黨的腐敗.敵我力量的變化.國民黨軍的內部矛盾等,為人民解放軍對國民黨軍實施策反提供了有利的條件.淮海戰役開始後,周鎬成功策反國民黨軍第一綏靖區副司令長官兼107軍軍長孫良誠投誠.此後 ...

劉伯承創辦南京軍事學院時點將:高階系訓練處長只有劉子云最合適

劉伯承創辦南京軍事學院時點將:高階系訓練處長只有劉子云最合適
1955年被授予開國少將軍銜的劉子云將軍,有著許多令人敬佩的經歷: 參加過1931年慶祝中華蘇維埃共和國臨時中央政府成立的紅軍閱兵式: 長征途中戰勝瘧疾歸隊,還帶回失散的一百多名紅軍: 抗戰時參加雁門 ...

諸呂之亂中劉襄功勞最大,勢力最強,最有資格,為何沒有獲得皇位

諸呂之亂中劉襄功勞最大,勢力最強,最有資格,為何沒有獲得皇位
呂后去世,在平定諸呂之亂中,外藩諸侯中論功勞齊王劉襄居功至偉.論實力劉襄在劉姓諸侯之中是勢力最為強大,論血統劉襄是劉邦長子劉肥的嫡長子.可以說從哪方面來說劉襄都是當皇帝的不二人選,但是折騰最歡的他最終 ...

楊尚昆眼中的彭德懷
楊尚昆與彭德懷是長期合作的黃金搭檔,也是感情深厚的知心摯友.在幾十年的相處共事中,兩人互相信任,互相支援,患難與共,親如手足.他們金子般的友誼經受了殘酷戰火的洗禮和急風暴雨的考驗,是那麼美麗,那麼動人 ...

劉愛琴:劉少奇長女,從小被賣做童養媳,逝世後將器官捐獻給祖國

劉愛琴:劉少奇長女,從小被賣做童養媳,逝世後將器官捐獻給祖國
2020年6月7日19點43分,隨著夜幕降臨,劉愛琴因重病搶救無效而死亡,享年92歲,一名優秀的共產黨員就這樣如巨星般隕落. 6月11日,各大媒體紛紛報道這件轟動全國的事件,這一事件引起了全國人民的廣 ...

“大科學”溯源,為什麼人才最貴?

“大科學”溯源,為什麼人才最貴?
國家層面在重視人才的引進和創新平臺的建立.我們之所以要集中國家優質資源興建國家實驗室和新型研發機構併發起大科學計劃,是因為從歷史上的經驗來看,國家創新實驗室和大科學對一個國家當下的安全以及未來幾十年甚 ...

房產稅或提前在這2個城市試點?專家提出免徵面積,4類人早做打算

房產稅或提前在這2個城市試點?專家提出免徵面積,4類人早做打算
"狼來了"的故事告訴我們,狼最終會來,而喊了十多年的房產稅,這次也真的要來了.在過去,很多人都質疑到底有沒有房產稅,但是最近兩年,財政部已經實錘房產稅確實存在並且在穩步推進之中.比 ...

專家激辯:5000元個稅免徵額是否應再提高?

專家激辯:5000元個稅免徵額是否應再提高?
來源:中國經濟週刊-經濟網 <中國經濟週刊>記者 王紅茹 | 北京報道 最近,網路被"共同富裕"刷屏.這主要源自2021年8月17日召開的中央財經委員會第十次會議.此次 ...

4成家庭“手握”2套住房,未來他們會面臨什麼呢?徵兆已顯現

4成家庭“手握”2套住房,未來他們會面臨什麼呢?徵兆已顯現
在過去的幾十年時間裡,中國不少家庭在房地產市場上可謂是"前赴後繼",為了買一套房子,這些家庭掏空了積蓄,還背上了長達幾十年的高額貸款.其主要目的就是為了滿足年輕人成家.子女上學以及 ...

央媒透露:“緊日子”來了!提前做準備,手握4樣東西更有安全感

央媒透露:“緊日子”來了!提前做準備,手握4樣東西更有安全感
公開資料顯示,今年上半年,全國平均房價每平米達到了10485元,正式進入到了萬元時代.回頭看看過去20年,從全國平均房價不足2000元到突破萬元大關,全國平均房價上漲了5倍多.實際上,針對一二線城市而 ...

如何練出馬甲線?一組腹肌訓練,讓你秀出迷人的馬甲線

如何練出馬甲線?一組腹肌訓練,讓你秀出迷人的馬甲線
原創內容,擅自搬運者必究! 女生的好身材並不是擁有一副小蠻腰,小腹上沒有多餘贅肉,而是平坦的小腹上,擁有兩條清晰的肌肉線條,俗稱馬甲線,這樣的身材才是迷人的. 健身女神若隱若現的馬甲線身材,穿上露臍裝 ...

又登《自然》,南科大近期科研成果一覽

又登《自然》,南科大近期科研成果一覽
南科大國際研究團隊在<自然>雜誌上釋出觀測到原子手性超流的重大研究成果 南方科技大學物理系副教授.量子科學與工程研究院創始研究員許志芳領導的團隊與南科大量子科學與工程研究院和美國匹茲堡大學 ...

記憶 | 90年前的這段傷痛,不能忘

記憶 | 90年前的這段傷痛,不能忘
哪年,哪月, 才能夠回到我那可愛的故鄉? 哪年,哪月, 才能夠收回那無盡的寶藏?! 一曲<松花江上>詞曲悲切 90年前的今天 更是所有中國人該銘記的日子! 1931年9月18日 " ...

浙商銀行頻頻踩雷,不良率持續走高 安邦、廣廈持股去向引關注

浙商銀行頻頻踩雷,不良率持續走高 安邦、廣廈持股去向引關注
紅週刊 記者 | 惠凱 浙商銀行近年發展不順利,不僅接連踩中了新光.銀億.康美.北大方正等"大雷",且自身業務發展也不如意,不良率出現了持續上升.而理財牌照的未獲批,對其發展資管業 ...

美國虛假繁榮崩盤!45家萬億商業巨頭破產,拜登深陷信任危機漩渦

美國虛假繁榮崩盤!45家萬億商業巨頭破產,拜登深陷信任危機漩渦
很長時間以來,美國都是世界上經濟最發達的國家,特別是金融業之繁榮更是首屈一指.不過如今的美國飽受通貨膨脹之苦,並有爆發金融危機的風險,虛假的繁榮隨時都可能崩盤.據統計,美國已經有45家規模超過10億美 ...

1975年,病重的劉伯承提出什麼請求?讓老搭檔鄧小平淚目

1975年,病重的劉伯承提出什麼請求?讓老搭檔鄧小平淚目
常言道:一個好漢三個幫,在解放軍中有幾對配合默契的搭檔,例如劉鄧,陳粟和林羅劉等等,其中劉鄧大軍最富有傳奇色彩的,說起劉鄧大軍,人們就會想起千里躍進大別山的壯舉.往事如風,白駒過隙當時光列車來到197 ...

慶祝中國共產黨成立100週年|段氏兄弟:斷送蔣家半壁江山的紅色特工

慶祝中國共產黨成立100週年|段氏兄弟:斷送蔣家半壁江山的紅色特工
文/陳名海 蔣介石親自挑選的"兄弟高參"段伯宇.段仲宇竟是中共地下黨員,他倆傳送出很多絕密情報,策劃了多場起義,往解放區運送了大量戰略物資,做了很多解放軍在正面戰場未做的事.以至蔣 ...

26歲追殺曹操,29歲追殺劉備,46歲追殺孫權,此猛將是誰?

26歲追殺曹操,29歲追殺劉備,46歲追殺孫權,此猛將是誰?
錯捐金帶子輿臺,李典張遼安在哉.濟溺我應知大略,摧鋒人自得高才. "滾滾長江東逝水,浪花淘盡英雄." 一首<臨江仙>寫盡人間滄桑,多少豪傑成往事,化作塵土空留名.一部& ...

水上游覽開通

水上游覽開通
中秋攬月賞星漢 嫦娥奔月落鹽河 西鹽河水上游覽專案正式開通 "古韻凌波十里歡,風搖畫舫雨寒煙".9月19日晚,連雲港首個河道遊線--"攬中秋月 賞鹽河景"老新浦 ...