2020年3月22-26日,第27屆IEEE VR國際學術會議(The IEEE Conference on Virtual Reality and 3D User Interfaces)召開。該會議是虛拟現實/增強現實領域的最高學術會議(CCF-A會議)。beat365圖形與交互技術實驗室的研究成果《DGaze: CNN-Based Gaze Prediction in Dynamic Scenes》被IEEE VR收錄為長文并直接發表在IEEE TVCG期刊(CCF-A期刊)。2020年IEEE VR共收到會議論文投稿489篇,收錄104篇,錄取率為21.4%。會議報告論文中發表在IEEE TVCG期刊上論文共29篇(投稿164篇,錄取率為17.7%),其中中國僅3篇入選。
在虛拟/混合現實領域中,用戶的注視信息具有廣泛的應用價值,用戶的注視行為分析和計算是其中一個關鍵問題。目前虛拟現實眼鏡中眼動追蹤的解決方案主要是依賴于眼動儀。眼動儀有價格昂貴、使用受限、無法預測用戶在未來時刻的注視等缺點,該實驗室團隊一直緻力于研究眼動儀的智能化軟件方案。

該成果提出了一個新穎的基于CNN神經網絡的注視預測模型DGaze,該模型可以用于虛拟現實眼鏡中的注視預測,首次實現了虛拟現實頭盔/眼鏡上的未來注視點的準确預測。DGaze模型結合了動态物體位置序列、用戶頭動速度序列、以及場景内容的顯著性特征來預測用戶的注視位置,預測的精度比以往方法有顯著地提升。方法同時提出了該模型的一個變體DGaze_ET,DGaze_ET可以通過結合眼動儀提供的用戶在過去時刻的眼動數據,以更高的精度預測用戶在未來時刻的注視位置。
該項成果由beat365、香港大學和美國馬裡蘭大學合作取得。實驗室博士生胡志明為第一作者,李勝和汪國平為共同通訊作者。該工作得到國家重點研發計劃項目和國家自然科學基金的支持。
原文鍊接:
https://conferences.computer.org/vr-tvcg/2020/content/TVCG/assets/pdfs/tvcg-li-2973473-x.pdf
由汪國平教授領導的圖形與交互技術實驗室團隊一直專注于虛拟現實系統的研發以及理論、方法的研究。該團隊在注視點分析與預測方面持續開展工作并取得系列成果,關于實時注視點預測的方法《SGaze: A Data-Driven Eye-Head Coordination Model for Realtime Gaze Prediction》發表在2019年的IEEE VR會議的IEEE TVCG期刊上。