Generating News Headlines with Recurrent Neural Networks
Konstantin Lopyrev
Abstract
We describe an application of an encoder-decoder recurrent neural network with LSTM units and attention to generating headlines from the text of news articles. We find that the model is quite effective at concisely paraphrasing news articles. Furthermore, we study how the neural network decides which input words to pay attention to, and specifically we identify the function of the different neurons in a simplified attention mechanism. Interestingly, our simplified attention mechanism performs better that the more complex attention mechanism on a held out set of articles.
中文速览
用编码器-解码器循环神经网络（encoder-decoder RNN）配合长短时记忆单元（LSTM）和注意力机制（attention mechanism）自动为新闻文章生成标题，是一项极具挑战的文本摘要任务——模型不仅要理解长篇正文，还要用简短、流畅的语言提炼核心信息。研究者在5500万篇英文新闻上训练了该模型，并提出了一种"简化注意力机制"，将用于计算注意力权重的隐藏单元与用于生成上下文的隐藏单元分离开来，使网络内部的信息流更清晰。实验结果显示，这一简化版本在保留集上的BLEU分数反而优于更复杂的注意力机制，同时还允许研究者直接解读各神经元的功能——例如某些神经元专门捕捉主语、宾语或数字等语言现象。这项工作不仅证明了深度序列模型在新闻摘要生成上的实用价值，更难得地揭示了注意力机制内部的可解释性，为理解神经网络"在看什么"提供了一条可行路径。
原文 arXiv:1512.01712;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1512.01712v1