DBIS 博士生吴一可获NLPCC最佳论文奖
2021年10月13-17日，由中国计算机学会主办，山东大学承办的 NLPCC 2021大会在青岛成功举办，DBIS实验室博士生吴一可的论文"An Obiect-extensible Training Frameworkfor Image Captioning”获NLPCC2021最佳论文奖。
近年来，基于深度学习的图像描述（image captioning）取得了巨大进展。 然而，由于训练数据集只包含现实世界中的一小部分物体类别，现有的大多数方法都缺乏描述不在训练数据集中的其他物体（即扩展物体）的能力。 本文提出了一个物体可扩展（object-extensible）的训练框架，通过为扩展物体自动生成高质量的训练数据，使得当下被广泛应用的图像描述模型能够为包含扩展物体的图像生成描述。具体而言，本文设计了一种替换机制，用扩展物体替换训练数据集中的原始物体，以生成新的训练数据。为了使替换过程能够正确感知视觉与文本上下文，以获得符合常识且有意义的替换结果，本文提出了多模态上下文词嵌入，以确保替换后的物体在视觉和文本上下文中都是合理的。实验从自动评价指标与人工评估两个角度表明，相较于之前的相关工作，本文方法有效提升了held-out MSCOCO数据集上的图像描述生成效果。
