2021年12月,实验室题为《Non-Autoregressive Models for Fast Sequence Generation》的tutorial提案被EMNLP 2022接收。该tutorial提案预设时长3小时,作者分别是冯洋、邵晨泽。EMNLP全称是Empirical Methods in Natural Language Processing,是自然语言处理领域国际顶级会议之一。EMNLP自2014年开设tutorial,每年接收6-8个tutorial,主要由在不同领域进行前沿研究的学者讲授,介绍自然语言处理方法在不同领域的最新进展。
本tutorial提案主要介绍了非自回归模型的最新研究进展。非自回归模型是指并行解码生成整个序列的模型,它可以显著地加快序列生成的速度,已经在机器翻译、语音识别、语音合成等领域引起了广泛的关注。在tutorial提案中,全面地阐述了非自回归模型在序列生成中面临的多峰性挑战和目前的主流解决方案,例如知识蒸馏、建模隐变量、改进训练目标、迭代式模型等,并详细介绍了非自回归模型在多种序列生成任务上的进展和它应用在不同任务时的共性和差异。
附件: