中国科学院智能信息处理重点实验室依托于中国科学院计算技术研究所,成立于1987年。在实验室学术委员会的学术指导和计算技术研究所的大力支持下,实验室逐渐发展成为我国智能信息处理领域的重要基础研究基地。
  实验室的研究工作围绕国家需求和国际科技发展前沿,同时考虑服务于国民经济建设的需要。实验室的定位是探索机器感知与认知的机理、理论、方法、技术,开展基础性研究以及相关的应用基础性研究,提出新的概念与模型,解决核心技术问题,并构建相应的系统。实验室的目标是在智能信息处理基础理论研究领域达到世界一流水平,培育前瞻思想,产出一流成果,培养基础人才,从而为智能技术形成智能产业提供基础原理、核心技术以及关键应用原型,为“人工智能”走向“人工智能+”提供技术支撑,为国家信息技术的长期发展储备知识、创新技术和人才。
  智能信息处理重点实验室以信息的智能处理为主线,依托计算技术研究所在系统、网络等方面的优势,从信息的获取、表示、理解与转换等几个方面进行布局,构成了一个互为依托的有机整体。实验室的主要研究方向,包括计算机视觉、模式识别、机器学习与数据挖掘、自然语言处理与理解、多媒体技术、医疗影像分析、生物信息学、大规模知识处理和智能人机接口等。
        过去十年来,实验室在中国计算机学会认定的A类国际刊物(如IEEE T PAMI, IEEE T IP, IJCV,AI等)以及领域A类国际会议(如CVPR,ICCV,ACL,AAAI, IJCAI, ACM MM等)上发表论文200余篇,获得发明专利授权100余项,所发表的论文被国内外同行引用超过30,000次。在高维、非线性视觉模式方面的研究成果获2015年度国家自然科学二等奖,在神经机器翻译方面的工作获得ACL大会的Best Long Paper Award。
        在应用方面,所研发的人脸识别、机器翻译、知识处理、蛋白质序列鉴定技术被成功的产业化或被华为等合作伙伴规模化应用到其产品中,产生了良好的经济和社会效益。
实验室新闻
10 2025.01
实验室王文彬博士、侯瑞兵博士喜获中国图象图形学学会2024年“博士学位论文激励计划提名奖”
2024年11月22日,2024年度“中国图象图形学学会博士学位论文激励计划”(原CSIG优博)正式揭晓,智能信息处理重点实验室王文彬博士、侯瑞兵博士获得计划提名奖,在此热烈祝贺王文彬博士及其导师陈熙霖研究员、侯瑞兵博士及其导师常虹研究员!“中国图象图形学学会博士学位论文激励计划” 设立于2017年,授予在图像图形及其相关领域的基础理论或应用基础研究方面有重要突破,或在关键技术和应用技术方面有重要创新的中国图像图形领域博士学位论文的作者。经评选,中国图象图形学学会决定授予10位博士2024年“中国图象图形学学会博士学位论文激励计划奖”与10位博士2024年“中国图象图形学学会博士学位论文激励计划提名奖”以表彰他们的博士论文在创新及学术影响力方面的突出表现。(获奖公告https://www.csig.org.cn/23/202411/52239.html,https://www.csig.org.cn/59/202411/52241.html)王文彬,中国科学院计算技术研究所2017级博士生,其博士论文工作围绕《类人感知的场景图生成》开展,针对场景图结构粒度模糊、内容粒度不一等瓶颈问题,构建符合人类感知习惯的场景层次化结构,形成场景结构解析基础;建模上下文信息,实现鲁棒的细粒度关系预测。所提出方法发表在IJCV、CVPR、ICCV、ECCV等计算机视觉领域刊物和会议上。侯瑞兵,中国科学院计算技术研究所2016级博士生,其博士论文工作围绕《基于时空建模的行人重识别研究》开展,所提出方法发表在TPAMI、CVPR等计算机视觉领域刊物和会议上,其中谷歌学术引用1800余次,单篇最高引用700余次。
科研动态

实验室关于多标签分布外检测等的论文被AAAI 2025接收

2024年12月10日,实验室7篇论文被AAAI 2025接收。AAAI全称是AAAI Conference on Artificial Intelligence,是人工智能领域的顶级国际会议。会议将于2025年2月25日至3月4日在美国费城召开。中稿论文简介如下:1. Bidirectional Logits Tree: Pursuing Granularity Reconcilement in Fine-Grained Classification (Zhiguang Lu, Qianqian Xu, Shilong Bao, Zhiyong Yang, Qingming Huang)模型在对多粒度层次标签标记的图像分类过程中,现有方法通常基于从通用的特征提取器中提取的共享特征来开发独立的层次感知模型。然而,由于粗粒度特征本质上比细粒度特征更容易学习,特征提取器往往会优先关注粗粒度特征,进而忽略了细粒度特征的学习,导致模型对细粒度特征的学习效果不佳。本文提出了一种基于双向逻辑树(BiLT)和自适应的类内差异的学习方法,利用从粗粒度到细粒度的反向传播流,结合不同级别之间的Logit损失,保证了细粒度学习可以受益于其粗粒度的祖先,同时通过类间关系的学习和标签平滑技术来动态调整预设的类别间距离。实验验证本文方法在缓解了粒度竞争问题的同时,还提升了细粒度分类的性能。2. SSE-SAM: Balancing Head and Tail Classes Gradually through Stage-Wise SAM (Xingyu Lyu, Qianqian Xu, Zhiyong Yang, Shaojie Lyu, Qingming Huang)现实世界中的数据集通常呈现长尾分布,其中绝大多数类别(称为尾部类别)只有少量样本。传统方法往往会在这些尾部类别上出现过拟合。最近,一种名为不平衡SAM(Imbalanced SAM, ImbSAM)的方法被提出,它利用锐度感知最小化(Sharpness-Aware Minimization, SAM)的泛化优势来应对长尾分布,其主要策略是仅增强尾部类别损失函数的平滑性。然而,在长尾场景中提升泛化能力需要在头部和尾部类别之间进行精心的平衡。理论分析表明,SAM和ImbSAM本身都无法完全实现这种平衡。对于SAM,虽然它通过逃离整体损失景观中的鞍点增强了模型的泛化能力,但在尾部类别损失上并未有效解决此问题。相反,虽然ImbSAM在避免尾部类别鞍点方面更加有效,但头部类别训练不足,导致性能显著下降。基于这些发现,本文提出阶段式鞍点逃逸SAM(Stage-wise Saddle Escaping SAM, 简称SSE-SAM),通过分阶段的方法结合了ImbSAM和SAM的互补优势。在初始阶段,SSE-SAM关注多数样本,避免头部类别损失的鞍点;在后期阶段,它转而关注尾部类别,帮助其逃离鞍点。实验表明,SSE-SAM在头部和尾部类别的鞍点逃逸能力上表现更佳,并在性能上取得了显著提升。3. EDGE: Unknown-aware Multi-label Learning by Energy Distribution Gap Expansion (Yuchen Sun, Qianqian Xu, Zitai Wang, Zhiyong Yang, Junwei He)多标签分布外检测任务旨在区分未知样本和多标签分布内样本。与单标签分类相比,多标签分类对类之间的联合信息进行建模至关重要。迄今为止,JointEnergy是多标签分布外检测中的代表性工作。然而,JointEnergy在面向对象检测中会产生不平衡问题,特别是在模型缺乏足够的判别能力时。由于能量决策边界模糊,仅与少数类别相关的样本往往被归类为分布外样本。此外,由于现有封闭域内不平衡多标签学习方法无法有效拟合整体特征空间分布,将导致严重的负迁移效果,普遍不适用分布外检测场景。本文采用辅助异常值暴露方法,首次提出了一种未知感知的多标签分布外检测框架(Energy Distribution Gap Expansion,简称EDGE),以重塑整体能量空间布局。在该框架中,分别针对尾部分布内样本和分布外样本优化能量分数,以扩大二者之间的能量分布距离。此外,本文还设计了一种简单而有效的方法来选择利于训练的辅助分布外样本数据集。在多个多标签数据集和分布外数据集上的综合实验结果表明,EDGE可以更加有效地提升模型在分布外检测上的性能。4. Controlling Large Language Models Through Concept Activation Vectors (Hanyu Zhang, Xiting Wang, Chengao Li, Xiang Ao, Qing He)随着大模型在各个领域的广泛应用,对其生成内容的可控变得尤为重要,生成控制包括将大模型的输出与人类价值观和道德原则对齐,或者为用户定制特定主题或风格的生成内容。现有的大模型可控文本生成方法通常需要耗费大量计算资源或依赖多次试验,成本较高。本文提出了一种轻量化的大模型控制框架(Generation with Concept Activation Vector,简称GCAV),该框架首先收集少量数据为目标控制概念(例如毒性)训练概念激活向量,在推理阶段,通过将概念激活向量注入大模型的激活层,调整激活表示(例如从激活层中移除毒性向量),实现对模型生成的控制。GCAV框架无需大量计算资源,可灵活针对单个样本调整控制层级和控制幅度。在不同任务上的实验结果表明,GCAV可以达到更好的控制效果,实现个性化主题和风格的生成。5. Dynamic Graph Learning with Static Relations for Credit Risk Assessment (Qi Yuan, Yang Liu, Yateng Tang, Xinhuan Chen, Xuehao Zheng, Qing He, Xiang Ao)由于金融违约事件的急剧增加,信用风险评估日益成为备受关注的研究领域。传统基于图的风险评估方法通常利用用户-商户支付记录构建商业支付图检测违约者,忽视了用户固有的社交关系,难以挖掘复杂信用风险。针对金融支付记录中信用风险挖掘难的问题,本文将商业支付动态图与用户社交静态图联合建模,提出了一种动静态信息融合的动态图神经网络模型(Dynamic Graph Neural Network with Static Relations,DGNN-SR)。为充分挖掘时间信息,DGNN-SR采用多视角时间编码器与时序注意力机制结合相对时间、绝对时间和时间语义。为融合动态支付信息和静态社交信息得到更加全面的风险评估结果,DGNN-SR引入自适应重加权策略,将静态关系融入时间编码器的动态表示中,从而提取更具判别力的特征以支持风险评估。实验结果表明,DGNN-SR在百万级节点的金融风控真实业务数据集上表现出色,相较于现有最先进方法取得了显著性能提升,展示了其在信用风险评估任务中的潜力。6. Online Fraud Detection via Test-time Retrieval-based Representation Enrichment (Yiran Qiao, Ningtao Wang, Yuncong Gao, Yang Yang, Xing Fu, Weiqiang Wang and Xiang Ao)反欺诈机器学习系统始终面临着概念漂移的重大挑战,而这一挑战是由欺诈技术的持续和激烈演变所驱动的。也就是说,基于历史欺诈行为训练的过时模型往往无法应对恶意用户随时间推移不断演变的策略。反欺诈关键问题在于有效应对欺诈者行为的快速和重大演变,以检测这些新出现的和不可预见的异常。在本文中,我们提出了一种解决方案,即直接访问实时数据并引入一种名为TRE(基于测试时检索的表示丰富)的轻量级插件方法。考虑到样本之间的相似性,TRE使用检索器来有效地识别前K个最相关的近期样本,并实施聚合策略以向预测器提供相邻的嵌入。因此,TRE会在测试期间调整已训练的分类器,为其提供来自最新未标记数据的信息。在三个大规模真实世界数据集上进行的大量实验证明了TRE的优越性。通过持续整合来自最近邻居的信息,TRE表现出很高的适应性,并且在性能上超越了现有方法。7. Divide-and-Conquer: Tree-structured Strategy with Answer Distribution Estimator for Goal-Oriented Visual Dialogue (Shuo Cai, Xinzhe Han, Shuhui Wang)目标导向视觉对话涉及人工智能代理之间的多轮交互,由于其广泛的应用前景而备受关注。在给定视觉场景下,该任务要求提问者(Questioner)提出行动导向的问题,而回答者(Answerer)以让提问者明确正确行动的意图作出回答。问题的质量影响目标搜索过程的准确性和效率。然而现有方法缺乏清晰的策略来指导问题生成,导致搜索过程中的随机性和不收敛的结果。我们提出了一种基于答案分布估计器的树结构策略(Tree-Structured Strategy with Answer Distribution Estimator, TSADE),通过在每轮对话中排除当前候选对象的一半来指导问题生成。上述过程通过最大化一个基于“分治”范式的二分奖励来实现。我们进一步设计了一种候选对象最小化奖励以鼓励模型在对话结束时缩小候选对象的范围。实验结果表明与传统的遍历式问题生成方法相比,我们的方法能够让代理以更少的重复问题和对话轮次达到任务导向的高准确率。定性分析结果进一步表明我们的方法有助于生成更高质量的问题。
学术活动

【学术报告】中国科学院-马普学会计算生物学伙伴研究所 汪思佳 研究员于1月13日来访实验室

报告题目:人类外貌表型研究中的影像学应用时间:1月13日下午15:00-16:00地点:计算所501会议室报告摘要:人类表型组研究需要对各个层面的表型进行高通量的量化分析,图像 分析就成为了研究人体外貌表型的重要工具。我将介绍若干利用图像 分析技术量化研究人体外貌表型的案例,包括3D人脸图像分析、DXA 影像分析、面部衰老特征分析等。以上案例凸显出针对不同生物学问 题,非常有必要利用相应合理的图像分析方法来解决。也希望通过以 上案例,为图像分析技术在生物医学领域的应用拓宽新的思路。报告人简介:汪思佳,中国科学院-马普学会计算生物学伙伴研究所研究员、博士生 导师。现任中国科学院计算生物学重点实验室副主任、中国科学院上 海生物医学大数据中心副主任、国际人类表型组计划执行委员会常务 委员兼秘书长。入选国家重要人才计划,先后获得国家基金委“ 优秀青年科学基金”与“重大研究计划”资助。在Cell、Am J Hum Genet等国际知名期刊上发表论文三十余篇,论文累计引用2000余次 。担任Ann Hum Genet杂志的资深副主编。目前课题组的主要科研方 向为开发及运用系统组学分析方法及人工智能算法,利用人群队列产 生的生物大数据,构建人类外貌相关表型与基因及其它相关表型的互 作网络,建立预测个体健康状况的算法模型。