一、成果簡介

簡介：

    實驗室以所提出的情感與認知大模型為理論核心，依托先進的自研精細表情識别、注意焦點分析、生理指标檢測、大模型理解分析等技術，已經使機器人擁有情緒狀态識别、注意認知評估、身心健康監護等能力，并正在優化智能機器人對人類進行個人性格分析、決策風格推演等任務。其中，精細表情識别技術通過識别面部動作單元實現，相關研究在IROS 2021&RAL、MULTIMEDIA、AAAI等國際會議與期刊上發表；注意焦點分析技術利用視覺信息在自由場景中識别人類注意(視線)目标、分析眼動特征、判斷用戶認知及注意狀态，榮獲ICAA 2019最佳論文，并在SMC 2023發表文章；生理指标檢測技術通過視覺信号識别心率及呼吸頻率，并進行細節分析，進一步計算心率變異性HRV，分析心理變化，獲得ICAA 2018最佳論文；大模型理解分析技術基于大語言模型構建靈活層次化架構，目前已承接“beat365科研GPT設計及未來應用部署”、“人工智能嵌入的慢病防治科技創新情報技術研究”等項目。實驗室的模型、技術及原型産品可以應用于養老陪護、金融、安全等重要領域。

    實驗室發表國際優秀論文80餘篇，其中多篇論文在AAAI、IROS、ACM MM、ICAI、ECCV等國際一流會議及國際一流期刊IEEE TC、IEEE TMC、IEEE TWC、IEEE TCAD上發表；一篇論文在移動計算與無線網絡領域排名第一的國際頂級學術會議MobiCom'17上獲得最佳學術社區論文獎(Best Community Paper Award，表彰在該領域的學術社區做出了突出貢獻)，多篇論文獲得國際學術會議最佳論文獎；實驗室已獲授權24項發明專利、7項外觀設計專利、4項實用新型專利。

   實驗室在情感與認知智能系統及機器人研發初見成效，取得業界較大關注，代表beat365在各類彙報、會議、展覽中進行展示；實驗室積極推進科研成果有效落地，與多家企業共建聯合實驗室；助力“漁省心”項目榮獲浙江省數字化改革第一批“最佳應用”等；實驗室已獲得多封來自政府、機關的感謝信。

   實驗室與國家地方共建具身智能機器人創新中心共建北大-國地共建具身智能機器人創新中心情感智能應用聯合實驗室，主要研發、探索、實踐以及展示承載情感智能技術在人形機器人上的應用。北京具身智能機器人創新中心發布的具身智能服務機器人“天轶”，搭載了具身智能情感大模型，其中的情感模型源于ACIR實驗室研發的情感與認知技術，通過該技術賦能，“天轶”可以對人類情感進行反應。

可對外演示：

   愛瑟爾是一款情感夥伴仿人機器人，搭載了生理指标檢測、人臉識别、語音識别、大語言模型等算法。愛瑟爾具備視覺、語音交互和運動操作能力，能夠觀察、傾聽、表達、行動，與人進行交互活動，可具備琴棋書畫、迎賓導覽、家庭服務等功能。

 小翅膀是一款高度集成的教學實驗智能機器人平台，基于ROS2構建，集成了大規模語言模型技術，實現了先進的感知和認知能力。小翅膀采用多模态融合方法，結合深度學習驅動的人臉識别和聲源定位技術，顯著提升了人機交互的自然度。其開放式架構為人工智能、機器人學和人機交互領域的創新研究提供了理想的測試平台，同時為學生提供了一個全面的實踐學習環境。

   眼神打成語小遊戲展示了機器人利用攝像頭精準識别用戶視線方向的能力。算法首先利用普通彩色攝像頭捕獲的眼部外觀圖像進行視線方向識别，然後通過視線方向與屏幕平面的交點獲取視線在屏幕上的落點，從而判定用戶正在注視的字。在每一關遊戲中，用戶通過注視依次鎖定組成成語的字。打出正确的成語，則遊戲勝利。

二、應用領域和市場前景

    應用領域：具身智能機器人、情感智能機器人，心理狀态分析，情感狀态分析

    市場前景：在未來的生活中，情感與認知智能機器人将不可或缺，在家庭、安全、教育、商業、健康、文旅等領域中都将發揮重要的作用，成為人們的生活管家、工作助理、情感夥伴。

三、合作方式

    合作開發、技術服務及咨詢、技術許可

對接方式

1.合作意向方聯系beat365官方网站産學研合作辦公室；

2.産學研合作辦公室溝通了解意向方情況；

3.會同成果完成團隊與意向方共同研讨合作方案。

beat365官方网站産學研合作辦公室

郵箱：hecheng1213@pku.edu.cn

未經授權，請勿轉載