近日，实验室关于多任务学习中负迁移问题的相关论文被IEEE TPAMI接收。IEEE TPAMI的全称是IEEE Transactions on Pattern Analysis and Machine Intelligence，是CCF推荐的人工智能领域A类期刊，近年影响因子为17.73。
论文信息如下： Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction (Zhiyong Yang, Qianqian Xu*, Xiaochun Cao, Qingming Huang*)
近年来，多任务已发展成为机器学习领域的重要方法并得到了广泛应用。具体而言，多任务学习可通过促进多个相关任务间的知识迁移和共享，使多个学习相互取长补短，从而在逐任务样本量较小的情况下，实现总体性能的显著提升。多任务学习中的一大关键挑战来自负迁移问题：即盲目的进行跨任务知识共享和迁移会迫使不相关任务间产生不当的知识迁移，最终导致过拟合。在已有的研究中，往往仅通过促进任务水平的分组来控制模型中的负迁移问题，对任务-特征间的负迁移问题则缺乏进一步考虑。鉴于此，本文提出一种可抑制任务-特征间知识负迁移的多任务学习模型。 首先，提出一种可促进任务-特征协同分组的块对角谱正则约束，并形成基础模型。在该模型中，知识共享仅存在于分组内，而在组间的知识迁移则被块对角结构自动阻断。 在此基础上提出一种交替优化算法对该模型进行求解。值得一提的是，本文所提出的优化算法可在保障所求非凸问题全局收敛性质的同时保障块对角结构的有效恢复。在收敛性质方面，本文发现优化问题中的谱结构子问题在一定条件下与其强凸正则化问题等价，并通过研究该等价问题为参数迭代序列创造了充分下降条件，从而首次证明该类优化问题（截断特征根求和最小化）的参数序列全局收敛性质。 在结构恢复方面，巧妙地利用优化算法中间过程的性质及子空间扰动性质，首次给出在非渐进意义下无假阳性结构恢复与准确结构恢复所需的超参数确定性选取条件及基本假设。 从实践视角出发，将上文提及的基础模型进一步拓展，使其可适当允许组间特征共享并识别难训练任务。最后，在仿真数据集及真实数据集上的系统实验分析表明本文所提出的算法可带来理想的性能提升、显著降低不同任务间的泛化性能差距、并可准确恢复块对角结构。
附件：