近日，实验室关于文生图扩散模型与隐私保护的工作“Anonymization Prompt Learning for Facial Privacy-Preserving Text-to-Image Generation”（作者：史良，张杰，山世光）被IJCV接收。IJCV全称为International Journal of Computer Vision，是计算机视觉领域的国际主流期刊。
近年来，文生图扩散模型能够根据文本描述生成高分辨率、高保真度的图像，并已被广泛部署在多种在线生成服务中。然而，这类模型对特定人物面部图像的逼真生成能力也引发了隐私与安全方面的担忧，尤其可能被用于生成以假乱真的伪造人脸图像，从而造成隐私侵犯与虚假信息传播。为从主动防御的角度缓解这一问题，我们提出匿名提示学习（Anonymization Prompt Learning, APL），一种基于提示学习的伪造人脸生成防御方法。具体而言，我们为文生图扩散模型引入一个可学习的前缀提示词，称为匿名提示（Anonymization Prompt, AP）。在保持扩散模型参数冻结的前提下，我们通过优化匿名提示参数，使模型在接收到包含特定人物身份的文本提示时，生成身份不匹配的人脸图像，同时保持与对应人脸属性描述的匹配度。进一步地，我们通过正则化约束匿名提示对不包含身份信息的文本输入保持无效，从而保证模型原有的常规图像生成能力不受影响。大量定量与定性实验结果表明，APL能够有效降低生成图像与文本身份之间的一致性，并对训练过程中未见的人物身份表现出良好的泛化能力。同时，在无特定身份描述的生成任务中，图像质量与文本匹配度基本保持不变。此外，我们进一步验证了匿名提示的即插即用（plug-and-play）特性：在一个扩散模型上训练得到的匿名提示可以直接迁移到其他预训练文生图模型上，并保持显著的匿名化效果，为跨模型的隐私与安全防护提供了一种轻量、可部署的解决方案。
附件：