Improved Deep Learning Baselines for Ubuntu Corpus Dialogs
Rudolf Kadlec, Martin Schmid and Jan Kleindienst IBM Watson V Parku 4, Prague 4, Czech Republic {rudolf_kadlec, martin.schmid,
Abstract
This paper presents results of our experiments for the next utterance ranking on the Ubuntu Dialog Corpus – the largest publicly available multi-turn dialog corpus. First, we use an in-house implementation of previously reported models to do an independent evaluation using the same data. Second, we evaluate the performances of various LSTMs, Bi-LSTMs and CNNs on the dataset. Third, we create an ensemble by averaging predictions of multiple models. The ensemble further improves the performance and it achieves a state-of-the-art result for the next utterance ranking on this dataset. Finally, we discuss our future plans using this corpus.
中文速览
在多轮对话系统中，如何从一堆候选回复里准确找出最合适的下一句话，是一个关键挑战。研究者在迄今最大的公开多轮对话数据集 Ubuntu 对话语料库上，分别实现并评测了 CNN、LSTM 和双向 LSTM（Bi-LSTM）三类神经网络模型，通过让每个模型对"上下文-候选回复"对打分来完成候选回复排序任务。实验发现 LSTM 与 Bi-LSTM 表现相近，CNN 在数据量少时反而更强，而将 11 个 LSTM、7 个 Bi-LSTM 和 10 个 CNN 集成后，其预测结果刷新了该数据集上的最优纪录（Recall@1 达到 68.3%）。这项工作不仅验证了多样化模型集成的有效性，也为后续引入记忆网络、注意力机制等更复杂方法提供了可靠的基线。
原文 arXiv:1510.03753;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1510.03753v2