Unnatural Language Processing: Bridging the Gap Between Synthetic and Natural Language Data
Alana Marzoev Samuel Madden M. Frans Kaashoek Michael Cafarella Jacob Andreas
Abstract
Large, human-annotated datasets are central to the development of natural language processing models. Collecting these datasets can be the most challenging part of the development process. We address this problem by introducing a general-purpose technique for “simulation-to-real" transfer in language understanding problems with a delimited set of target behaviors, making it possible to develop models that can interpret natural utterances without natural training data.
中文速览
用合成数据代替人工标注来训练自然语言理解模型，一直面临"合成语言与真实语言差距太大"的难题。这项工作借鉴机器人领域"仿真迁移到现实（sim-to-real transfer）"的思路：先用精心设计的语法规则自动生成大量带标注的合成句子来训练模型，再利用预训练句子嵌入（BERT）把用户说的自然语言句子"投影"到最语义相近的合成句子上，让训练好的合成模型直接给出预测，全程无需任何人工标注的真实语言数据。为了应对合成句子空间过大导致搜索缓慢的问题，作者还引入了局部敏感哈希和层次化投影两种加速策略。在八个语义解析数据集和一个导航指令跟随基准上的实验表明，这套方法在多个任务上可以媲美甚至超越用真实标注数据训练的有监督模型，说明sim-to-real是一条切实可行的低成本NLP应用开发路径，有望大幅减少新领域数据收集的人力投入。
原文 arXiv:2004.13645;中英对照 + 大白话阅读 https://aha.fim.ai/paper/2004.13645v1