VALSE Webinar 21-29期总第257期慧眼独具：基于视觉的遥测式生理指标测量

2021 年 10 月 23 日 VALSE

报告时间	2021年10月27日 (星期三) 晚上20:00 (北京时间)
主题	慧眼独具：基于视觉的遥测式生理指标测量
主持人	韩琥（中国科学院计算技术研究所）
直播地址	https://live.bilibili.com/22300737

报告嘉宾：杨学志 (合肥工业大学)

报告题目：面由心生：基于面部视频的心血管生理信号检测

报告嘉宾：Xiaobai LI (University of Oulu)

报告题目：Remote physiological signal measurement from facial videos, methods and applications

Panel嘉宾：

杨学志 (合肥工业大学)、Xiaobai LI (University of Oulu)、郑文明 (东南大学)、邓伟洪 (北京邮电大学)、王文锦 (南方科技大学)

Panel议题：

1. 除了目前研究较多的遥测式心率、呼吸率估计之外，在原理上哪些生理指标也可以基于视觉进行测量或估计？它们对成像条件、成像设备、用户配合是否有特别的要求？

2. 基于视觉的遥测式生理指标测量往往是一个序列到序列的预测问题，基于transformer的建模方法对这样一个问题是否同样会有效？

3. 从长期以来“数据+算法+算力”的“大炼模型”的方法到近两年来“大数据+大模型+大算力”的“炼大模型的方法”在诸多视觉识别问题中都取得了很好的效果。这样的技术路线是否同样适用于基于视觉的遥测式生理指标测量，从而大幅提高准确率？

4. 基于视觉的遥测式生理指标测量技术，相对 (如人脸识别技术)来说目前仍然以研究为主，落地应用相对较少，主要原因在哪些方面？在未来3-5年内，基于视觉的遥测式生理指标测量最有可能在哪些具体的场景开展应用？特别是在 (接触式、无线信号等)其它生理指标测量方法上存在的哪些痛点问题上更有效？基于视觉的遥测式生理指标测量能否给相关领域带来重要变革？

5. 基于视觉的遥测式生理指标测量是先进入民用领域，还是先进入医疗领域 (FDA or CFDA cleared product)? 是应该定位在普适的居家监护，还是专业的医疗器械？

6. 视频健康监护的产品研发上，我们应该借鉴互联网产品的开发思维 (应用程序，APP，速度制胜)，还是医疗器械的开发思维 (patient monitor一体化，门槛制胜)？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：杨学志 (合肥工业大学)

报告时间：2021年10月27日 (星期三)晚上20:00 (北京时间)

报告题目：面由心生：基于面部视频的心血管生理信号检测

报告人简介：

杨学志，合肥工业大学教授、科研院院长。工业安全与应急技术安徽省重点实验室主任，安徽省工业安全信息技术研究院负责人, 安徽省计算机学会副理事长，安徽省电子学会常务理事。2003 年12 月毕业于香港大学电机与电子工程系，获博士学位。2006年至2007年于加拿大滑铁卢大学系统设计工程系从事博士后研究。主要研究领域：计算机视觉、医学信号检测与处理、公共安全信息技术。主持承担国家自然科学基金、军委科技委创新特区项目、安徽省优秀青年科技基金、安徽省科技重大专项等项目二十余项。在国内外期刊和会议上发表论文120余篇，获发明专利10余项。

个人主页：

http://videocardio.com

报告摘要：

心血管病是威胁我国居民健康的首要疾病。在国民主动健康意识日益增强及我国老龄化进程加速的趋势下，心血管状态检测与健康风险评估面临着迫切的需求。随着图像传感器及计算机视觉技术的发展，基于面部视频的光电容积描记术 (video photoplethysmography，VPPG)已成为医学信号检测领域的一个前沿研究方向，有望为居民的日常健康管理与疾病初筛提供一种便捷的新途径。本报告首先概述VPPG技术的基本原理及其发展现状，随后重点介绍三个方面的研究工作：1.运动和光照变化干扰下的心率检测算法研究；2. 结合临床数据的房颤风险筛查算法研究；3. 基于智能手机的心血管参数检测APP系统研发。最后，报告将给出我们对VPPG技术发展前景的一些展望。

报告嘉宾：Xiaobai LI (University of Oulu)

报告时间：2021年10月27日 (星期三)晚上20:30 (北京时间)

报告题目：Remote physiological signal measurement from facial videos, methods and applications

报告人简介：

Xiaobai Li is currently working as an assistant professor in the Center for Machine Vision and Signal Analysis (CMVS)of University of Oulu. She received her B.Sc degree in Psychology from Peking University, M.Sc degree in Biophysics from the Chinese Academy of Science, and Ph.D. degree in computer science from CMVS, University of Oulu. Dr. Xiaobai Li has published more than 40 papers on international conferences and journals which were cited 3000+ times with an H-index of 20 according to Google scholar. Her research interests include facial expression recognition, micro-expression recognition, remote physiological signal measurement and related applications such as emotion understanding, remote healthcare, and biometrics. She received post-doctoral funding from the Academy of Finland for 2019-2022, and she also leads one consortium project funded by the Finnish Work Environment Fund. She is a reviewer for multiple journals and conferences, including IEEE TPAMI, TMM, TIP, TAFFC, TCSVT, TIFS, TBME, and other journals like IVC, Neurocomputing, Frontiers Psychology, PR, PRL, and conferences including CVPR, ICCV, FG, ICPR, ICMI. She is currently serving as an Associate Editor for IEEE Transactions on Circuits and Systems for Video Technology (TCSVT), and Image and Vision Computing.

个人主页：

https://www.oulu.fi/university/researcher/xiaobai-li

报告摘要：

It was found that the heart rate can be remotely measured from color facial videos under ambient light. It is an interesting technology which might lead to potential applications in future, but currently there are gaps and challenges to be solved. Our group has been working on this topic since 2012 and we concern both the methodologies and related applications. In this talk, several recent works done in our group will be introduced, which include: spatio-temporal network for rPPG measurement, rPPG measurement from highly compressed videos, atrial fibrillation detection using rPPG, and rPPG transformer for 3D face presentation attack detection.

参考文献：

[1] Yu,Zitong, XiaobaiLi, and GuoyingZhao. "Remote Photoplethysmograph Signal Measurement from Facial Videos Using Spatio-Temporal Networks." Proc. BMVC. 2019.

[2] Yu,Z.*, Peng,W.*, Li,X., Hong,X., & Zhao,G. (2019). Remote Heart Rate Measurement from Highly Compressed Facial Videos: an End-to-end Deep Learning Solution with Video Enhancement. In Proceedings of the IEEE International Conference on Computer Vision (ICCV 2019)pp. 151-160.

[3] Li,Xiaobai, Iman Alikhani, JingangShi, Tapio Seppanen, Juhani Junttila, Kirsi Majamaa-Voltti, Mikko Tulppo, and GuoyingZhao. "The OBF Database: A Large Face Video Database for Remote Physiological Signal Measurement and Atrial Fibrillation Detection." 2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018), pp. 242-249. IEEE, 2018.

[4] Shi,Jingang, Iman Alikhani, XiaobaiLi, ZitongYu, Tapio Seppänen, and GuoyingZhao. "Atrial fibrillation detection from face videos by fusing subtle variations." IEEE Transactions on Circuits and Systems for Video Technology (2019).

[5] Yu,Zitong, XiaobaiLi, PichaoWang, and GuoyingZhao. "Transrppg: Remote photoplethysmography transformer for 3d mask face presentation attack detection." IEEE Signal Processing Letters (2021).

Panel嘉宾：郑文明 (东南大学)

嘉宾简介：

郑文明，东南大学二级教授，儿童发展与学习科学教育部重点实验室主任、中国认知科学学会理事。主要从事情感计算、计算机视觉，模式识别等领域的研究。担任《IEEE Transactions on Affective Computing》、《Visual Computer》、《中国图象图形学报》等国内外期刊编委。主持国家自然科学基金重点/联合重点项目、科技部973课题等项目，获《IEEE Transactions on Affective Computing》最佳论文奖、国家技术发明二等奖、教育部自然科学二等奖和江苏省科技进步二等奖等奖项。

个人主页：

http://aip.seu.edu.cn/wmzheng

Panel嘉宾：邓伟洪 (北京邮电大学)

嘉宾简介：

邓伟洪，北京邮电大学“鸿雁人才”教授，教育部青年长江学者，研究方向为生物特征识别、情感计算、多模态学习。近年来主持国家重点研发计划课题、国家自然科学基金等项目20余项，在IEEE TPAMI、IJCV、TIP、TIFS等国际期刊以及ICCV、CVPR、ECCV、NIPS、KDD、AAAI等国际会议发表论文100多篇，担任ACMMM、IJCAI、ICPR、ICME、ICB、FG等会议领域主席，曾入选北京市优秀博士学位论文、北京市科技新星、教育部新世纪优秀人才、Elsevier中国高被引学者等。

个人主页：

http://whdeng.cn

Panel嘉宾：王文锦 (南方科技大学)

嘉宾简介：

王文锦，南方科技大学副教授，博士生导师。前荷兰飞利浦研究院研究员，荷兰埃因霍温理工大学助理教授。从事新一代无线健康感知技术的研发 (视频健康监护，CV保健)，在医工交叉领域积累了丰富的产学研经验。发表包括IEEE Transactions on Biomedical Engineering, Biomedical Optical Express等重要国际期刊、会议论文40余篇，出版爱思唯尔专著1部《Contactless Vital Signs Monitoring》，20余项欧美专利 (申请，授权)，落地产品3项。常年在国际顶级会议CVPR/ICCV举办workshop，tutorial。回国后努力推动该技术的医工交叉和临床研究，合作请联系：wangwj3@sustech.edu.cn 或wwang@tue.nl

个人主页：

https://sites.google.com/site/rppgwenjin/

主持人：韩琥 (中国科学院计算技术研究所)

主持人简介：

韩琥，中科院计算所副研究员。2011年博士毕业于中科院计算所，之后分别在美国密歇根州立大学和谷歌从事生物特征识别研究工作。2015年回到中科院计算所工作，主要研究方向为计算机视觉与模式识别、生物特征识别、医疗影像分析。担任国际期刊Pattern Recognition 编委 (AE)，国际会议ICPR2020 领域主席 (AC)，IJCAI 2021 SPC, 以及ICCV21/CVPR2020/FG2020等主会特别会议/专题论坛的共同组织者。发表领域权威国际期刊与会议论文70余篇，谷歌学术引用4100余次。研究工作获2020年度IEEE信号处理学会 (IEEE SPS)最佳论文奖，以及3次会议最佳学生/海报论文奖 (包括IEEE FG2019最佳海报论文奖)，获4次国际竞赛冠亚军。

个人主页：

http://vipl.ict.ac.cn/homepage/hhan

特别鸣谢本次Webinar主要组织者：

主办AC：韩琥(中国科学院计算技术研究所)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ R群，群号：137634472）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。