近日，实验室关于遥测式人脸心率估计的工作“RhythmNet: End-to-end Heart Rate Estimation from Face via Spatial-temporal Representation” （作者：Xuesong Niu, Shiguang Shan*, Hu Han, and Xilin Chen）被IEEE TIP接收。IEEE TIP全称为IEEE Transactions on Image Processing, 是视频图像处理与理解领域的CCF-A类权威期刊， 2019年公布的影响因子为6.79。
心率是人体最基础的一种生理信号之一，能反映人的身体健康状况甚至情绪状态。传统的心率测量通常依赖于接触式的传感器，比如较为精准的心电图以及便携式的指夹式心率仪等，这些方法心率估计的精度通常较好，但同时因为需要接触人体皮肤，限制了其使用的便利性。本文研究了基于rPPG原理的遥测式人脸视频心率估计方法RhythmNet。人脸视频中心率的视觉信号及其微弱，现有的端到端深度学习模型如CNN很难直接从原始人脸视频中学到真正与心率相关的特征表示，为此，我们提出了利用人脸视频时空上下文信息，先构建底层时空图（spatial-temporal map）将心率的视觉特征信号与大量背景信号有效地分离开来，进而通过CNN-RNN时空联合建模的方法，从时空图中进一步学习心率相关的高层特征表示，最终实现鲁棒的遥测式人脸视频心率估计。我们提出的RhythmNet方法，在业界多个公开数据库上都取得了最好的结果，并系统性地测试了方法在不同颜色空间、不同视频压缩率、不同光照环境以及不同模态（RGB vs. NIR）等条件下的稳定性。
图1：RhythmNet人脸心率估计算法框架
此外，考虑到遥测式人脸视频心率估计领域公开的数据库较少，规模不大，采集场景单一等局限性，我们构建了包含头部运动、光照变化和不同传感器等多种变化的较大规模多模态人脸视频心率估计数据库VIPL-HR，并向业界公开供学术研究使用（申请下载链接：http://vipl.ict.ac.cn/view_database.php id=15）
论文信息：
Xuesong Niu, Shiguang Shan*, Hu Han, and Xilin Chen. RhythmNet: End-to-end Heart Rate Estimation from Face via Spatial-temporal Representation, IEEE Transactions on Image Processing (T-IP), (Accepted on Sept. 30,2019)
实验室相关的前期工作：
Xuesong Niu+, Xingyuan Zhao+, Hu Han, Abhijit Das, Antitza Dantcheva, Shiguang Shan, and Xilin Chen. Robust Remote Heart Rate Estimation from Face Utilizing Spatial-temporal Attention. IEEE International Conference on Automatic Face and Gesture Recognition (FG), pp. 1-8, Lille, France, May 14-18, 2019. (IEEE FG 最佳海报论文奖)
Xuesong Niu, Hu Han, Shiguang Shan, and Xilin Chen. VIPL-HR: A Multi-modal Database for Pulse Estimation from Less-constrained Face Video. Asian Conference on Computer Vision (ACCV), pp. 1-16, Perth, Australia, Dec. 2-6, 2018.
Xuesong Niu, Hu Han, Shiguang Shan, and Xilin Chen. SynRhythm: Learning a Deep Heart Rate Estimator from General to Specific. pp. 3580-3585, International Conference on Pattern Recognition (ICPR), Beijing, China, Aug. 20-24, 2018.
Xuesong Niu, Hu Han, Shiguang Shan, and Xilin Chen. Continuous Heart Rate Measurement from Face: A Robust rPPG Approach with Distribution Learning, International Joint Conference on Biometrics (IJCB), pp. 642-650, Denver, USA, Oct. 1-4, 2017.
附件：