近日,实验室关于大规模纹身图像检索的工作“Tattoo Image Search at Scale: Joint Detection and Compact Representation Learning”(作者: Hu Han, Jie Li, Anil K. Jain, Shiguang Shan and Xilin Chen)被IEEE T-PAMI以长文接收。IEEE T-PAMI的全称为IEEE Transactions on Pattern Analysis and Machine Intelligence,是计算机视觉、模式识别与生物识别领域国际顶级期刊,目前影响因子为9.455。
近年来,基于主要生物特征(如人脸、指纹)的识别方法与技术取得了巨大进步,但单一生物特征在开放场景中很难完全满足实际应用需求。纹身作为一种重要的辅助生物特征,对辅助身份识别具有重要价值,特别是在人脸、指纹等数据无法获取或被人为破坏的情况下。现有的纹身搜索方法主要集中在匹配“裁剪后的纹身”上,这与实际应用场景的需求存在较大差距,实现全自动的鲁棒大规模纹身图像检索仍然是一个富有挑战性的难题。为此,我们提出了一种高效的一体式纹身检测与紧凑特征学习方法用于非可控场景大规模纹身图像搜索。借鉴人在视觉感知中,识别任务与检测任务在视觉信息处理通路上的高度共享的特点,我们让纹身紧凑特征学习与纹身检测任务进行充分特征共享。方法的总体框架图如下:
该工作的主要贡献包括:(1)据我们所知,所提出的大规模纹身图像检索方法是首个融合纹身检测与紧凑特征学习于一体的可端到端学习方法;(2)提出了有效解决一体式纹身检测与紧凑特征学习网络中紧凑特征学习部分所面临的批量小问题(small batch size issue)的方法;(3)在纹身检测、识别与检索任务上超越业界最好方法的性能,并且具有低计算复杂度;(4)在纹身数据集构建方面贡献了300对纹身素描-照片图像用于基于草图的跨模态纹身检索研究,利用互联网搜索形成30万纹身数据集(WebTattoo)用于模拟大规模纹身检索场景,以及对的数万纹身图像进行了标注,如纹身框、类别等(拟公开WebTattoo数据集的图像URL及标注用于学术研究目的)。
论文信息:Hu Han, Jie Li, Anil K. Jain, Shiguang Shan and Xilin Chen. “Tattoo Image Search at Scale: Joint Detection and Compact Representation Learning,” IEEE Transactions on Pattern Analysis and Machine Intelligence (T-PAMI), 2019. (Accepted) [arXiv:1811.00218]
附件: