题目：VR 环境下基于眼周信号的认知和情绪状态检测与调控
报告人：陈东义教授
地点：2号学院楼218
时间：2023年12月7日14:00
报告人简介
陈东义博士、电子科技大学教授、博士生导师，中科院深圳先进技术研究院客座研究员、广州新黄埔中医药联合创新研究院首席科学家、乐相科技首席科学家、深圳市智能穿戴行业协会学术顾问。
多伦多大学电气与计算机工程系做博士后、美国乔治亚理工学院GVU 研究中心客座教授（visiting professor）、德国不莱梅大学客座教授及联合博士生导师、加拿大西安大略大学客座教授。
自1998以来专一从事可穿戴计算及AR研究，作为课题负责人曾承担国家重点研发计划、国家自然科学基金、国家863计划、中国-德国和中国-加拿大政府间国际合作项目等国家级课题10余项，发明专利约30余项，论文约百余篇。
现任IEEE 交互与可穿戴计算与装置委员会的联合主席（联合发起人）、中国控制与指挥学会理事、中国人工智能学会智慧医疗专委会副主任、中国计算机学会人机交互专委会常委。曾任中国系统仿真学会应用专业委员会副主任。
主要研究兴趣为：智能穿戴、织物电子与传感、增强现实与虚拟现实、人机交互技术、远程立体视觉、VR、认知及情绪。
报告摘要
虚拟现实场景下的情绪检测与调控在过去几年已经成情绪与认知方向方向的热门话题， 因为VR可以生成沉浸感、 真实感、 个性化、 交互式、 可参与、全视角和无约束的实验情境， 这不同于目前普遍采用的一般数字化情景， 尤其是在虚拟情景中， 用户和场景具有交互体验。 VR 提供了新的情绪诱导、刺激方式和调控，因此提供了未来研究机会， 这对认知和心理研究领域的新发现和理论与方法的创新非常重要。因此，探索用户在 VR 空间的心理和认知问题， 发展潜力很大。 VR 已经成功的应用培训、 游戏、健康和行为研究， 例如已经用于治疗焦虑症、 恐怖症、 精神病和创伤后应激障碍（PTSD） (Crescentini C et al. 2016)。
近年来， 关于利用外周和中枢神经系统生理反应的情绪识别的研究越来越多。使用生理信号进行情绪识别有很多优点， 因为它们反映出人类情绪的“未过滤和即时响应” ， 所以生物信号在情绪分析中表现出良好的数据一致性， 使情绪识别更加客观和可靠， 与基于视听觉方法相比， 它们不容易伪装， 并可以在任何程度的照明、 噪音条件下使用（ Nam J , Chung H 2019） 。 此外， 生理方法还可以与视听模式相结合， 构建一个更健壮、 更准确的多模态情感识别器（ Guillermo Bernal， 2018）。
主要得益于可穿戴设备性能的提高、 成本降和易于部署等优点， 使得 VR多模态生理交互可以推广。 传统上， VR 情景下的情绪研究大多数只能医疗或专业级 EEG 和其他专业生物电信号采集仪器， 这些设备是专用的、 笨重、 价格昂贵、线缆繁杂、 不易穿戴和部署、 需要繁琐系统配置、 难以定制和个性化， 而且没有标准化（接口、 数据等） ， 因此使得实验准备复杂、 经常出错， 还需要熟悉引擎做刺激内容开发， 进行传感数据和可视化处理等。 这些问题极大对限制了 VR 和多模生理信息在情绪感知的有效和广泛应用。 研究和应用人员需要简单“即插即用” 的设备或平台来开展 VR 情绪感知实验。 可穿戴设备的最新发展极大的改变了这种限制， 低成本、 高性能、 可穿戴和部署方便的 EEG 设备和 VR 头盔技术和产品日益成熟， 为情绪识别与调控提供了廉价、 便携和简单的解决方案， 提高用了户体验， 使基于生理信号情绪检测的广泛应用成为可能。有文献指出性能较低的可穿戴 EEG 设备可以比电极数量较少的医用级脑电系统表现更好 (Soleymani M et al. 2012, W. Zhang et al. 2017) 。
该报告介绍一种“情绪生理感知与调控 VR 交互界面” 概念与方案。该界面由 VR 头盔生理传感“物理界面”和 情绪生理感知“软件界面”构成。“物理界面”是一个嵌入多模态生理传感VR头盔垫圈，该传感垫圈覆盖眼眶和前额，可在眼周部位检测EEG、ECG、GSR 、SKT 、EMG、 EOG 、HR和 BR。 “软件界面”完成信号处理与特征提取、 情绪分类与分析、VR 环境下情绪诱导与调控功能， 并具有测试与调控素材库、实验与设置管理模块和可视化界面。这两个界面一起共同实现与VR 环境下的“情绪生理感知与调控”，为在VR空间环境下情绪感知、干预与调控提供一个工具和平台。