计算所智能信息处理重点实验室的手语识别研究组获得2016年ChaLearn连续手语识别竞赛第一名。竞赛全称为ChaLearn LAP Large-Scale Continuous Gesture Recognition Challenge。竞赛任务是在给定训练集和验证集的条件下,对4042个未经对齐的RGB-D连续手语视频进行识别。
课题组采取手部检测—时序分割—手语识别的技术路线,搭建双流RNN框架实现手语词汇的识别。该工作相关论文发表在ICPRW2016上*。我们的方法同时考虑手部的运动信息和手形信息对手语词进行描述,将RGB和depth信息分别在SRNN层进行并行计算,进而在融合层进行合并处理,最后利用LSTM进行识别。
竞赛共有来自国际国内的50只队伍注册,我们的提交结果获得了最高的识别分数。
Xiujuan Chai, Zhipeng Liu, Fang Yin, Zhuang Liu, Xilin Chen. Two Streams Recurrent Neural Networks for Large-Scale Continuous Gesture Recognition. ICPRW 2016.
附件: