Improving LSTM-based Video Description with Linguistic Knowledge Mined from Text
Subhashini Venugopalan UT Austin、Lisa Anne Hendricks UC Berkeley、Raymond Mooney UT Austin、Kate Saenko Boston University
Abstract
This paper investigates how linguistic knowledge mined from large text corpora can aid the generation of natural language descriptions of videos. Specifically, we integrate both a neural language model and distributional semantics trained on large text corpora into a recent LSTM-based architecture for video description. We evaluate our approach on a collection of Youtube videos as well as two large movie description datasets showing significant improvements in grammaticality while modestly improving descriptive quality.
中文速览
视频自动描述系统因缺乏大规模配对视频-文本数据而容易生成语法不通的句子，本文尝试将从海量文本语料库中学到的语言知识注入基于长短期记忆网络（LSTM）的视频描述模型（S2VT）来解决这一问题。研究提出了三种融合策略——先用纯文本预训练再微调的"早期融合"、在解码阶段对语言模型打分进行加权的"晚期融合"、以及将语言模型隐藏状态直接拼接到视频描述模型隐藏状态的"深度融合"——同时还用在60亿词语料上预训练的GloVe分布式词向量替换原来的独热编码。在YouTube视频及两个大规模电影描述数据集上的实验表明，融合外部语言知识后生成句子的语法正确性显著提升（人工评估p值远低于0.05），描述相关性也有一定改善。这项工作说明语言建模与视觉表示同样重要，且所提方法具有通用性，可移植到其他图像和视频描述框架中。
原文 arXiv:1604.01729;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1604.01729v2