实验室3篇论文被NeurIPS 2021接收

近日，实验室3篇论文被NeurIPS 2021接收。NeurIPS的全称是Neural Information Processing Systems （神经信息处理系统），是机器学习领域的国际顶级会议。3篇论文的信息概要介绍如下：

1. When False Positive is Intolerant: End-to-End Optimization with Low FPR for Multipartite Ranking (Peisong Wen, Qianqian Xu, Zhiyong Yang, Yuan He, Qingming Huang)

在医学诊断、内容审核等多分排序问题的应用场景中，要求控制假阳率（False Positive Rate，FPR）较低的前提下，尽可能提升模型的真阳率（True Positive Rate，TPR），而目前常用的AUC指标与该需求并不一致。因此，本文考虑优化模型在固定FPR下的TPR指标，称为TPR@FPR。优化TPR@FPR主要有两个难点：(a) 目标函数不可导，无法直接应用基于梯度的方法；(b) 损失函数无法写成多个独立的实例损失之和，无法采用批次训练。为了解决以上问题，本文提出一种跨批次近似的深度学习框架（Cross-Batch Approximation for Multipartite Ranking，CBA-MR）。首先，为了克服难点 (a)，本文提出一种可导的替代优化目标，基于样本排序在训练过程中排名的随机游走假设，根据样本对FPR的短时影响加权。为了解决难点 (b)，本文提出一种基于特征缓存的快速排序估计方法，用于替代全样本的排序计算。在四个基准数据集上的实验表明，本文所提出的方法能有效提升模型在低FPR情况下的TPR性能。

2. See More for Scene: Pairwise Consistency Learning for Scene Classification (Gongwei Chen, Xinhang Song, Bohan Wang, and Shuqiang Jiang)

场景分类是一个具有价值的计算机视觉任务。基本上，场景特性是分布于整张图像上的，需要分类模型能“看到”更全面和有信息的区域。之前的工作主要集中在场景图像中区域的发掘和融合上，而很少考虑卷积网络内在特性以及其可以满足场景分类需求的潜在能力。本文提出了基于聚焦区域来理解场景图像和场景分类网络。我们发现当模型学习场景特性后，场景分类模型会倾向发现更大的聚焦区域。对于现有模型训练策略的分析帮助我们理解聚焦区域对于模型性能影响，并且引发我们思考用于场景分类的最优训练方法。为更好的利用场景特性，我们提出了一种新的学习方法配合定制的损失函数来实现在场景图像激活更大的聚焦区域。因为缺少需要扩大的目标区域的监督信息，从另一个角度，我们的学习策略通过消除已经被激活的区域来允许模型在训练中激活更多区域。本文提出的策略可以通过保持被消除图像和原始图像输出的成对一致性来实现。特别的，定制的损失函数利用类别相关信息来保持这种成对一致性。基于Places365数据集的实验展示了我们方法在各种网络结构上带来的显著提升效果。本文方法在物体数据集ImageNet上的结果表明我们方法捕获了场景独有的特性。

3. Discerning Decision-Making Process of Deep Neural Networks with Hierarchical Voting Transformation (Ying Sun, Hengshu Zhu, Chuan Qin, Fuzhen Zhuang, Qing He, Hui Xiong)

神经网络已在诸多应用中取得巨大成功，尽管可以逐层进行复杂特征提取，但是神经网络建模过程的中间概念被湮没在深度堆叠的大量隐藏单元的组合效应中。特别是在数据挖掘场景中，模型需要建模异构的观测变量与最终结果间复杂的数值联系，中间过程中大量语义不明的隐藏单元使用户难以了解模型的内在推断逻辑。为此，本文提出一种推断过程可解释的深度神经网络模型，名为基于投票转换的可解释神经网络（Voting Transformation-based Explainable Neural Network，VOTEN）。具体来说，VOTEN的推断不依赖于海量隐藏单元上的特征组合，而显式建模少量潜在概念之间的复杂定量关系，依靠非线性单变量投票函数进行层级概念推断，依靠表达能力的投票通道实现模型的表达能力。沿着这条思路，我们首先从理论上分析了VOTEN的主要组成部分，并将VOTEN与神经网络基本单元——多层感知机（Multi-Layer Perceptron MLP）进行比较，从理论上分析了二者的关系及VOTEN的优势。此外，我们设计了有效的辅助算法，可直观展示VOTEN决策过程，从而提高模型在实际场景中的可用性。在六个数据集上的实验表明，VOTEN能够显著提升模型可解释性，而且可以有效提升分类效果。