Semantic Parsing with Semi-Supervised Sequential Autoencoders
Tomáš Kočiský†‡ Gábor Melis† Edward Grefenstette† Chris Dyer† Wang Ling† Phil Blunsom†‡ Karl Moritz Hermann† †Google DeepMind ‡University of Oxford
Abstract
We present a novel semi-supervised approach for sequence transduction and apply it to semantic parsing. The unsupervised component is based on a generative model in which latent sentences generate the unpaired logical forms. We apply this method to a number of semantic parsing tasks focusing on domains with limited access to labelled training data and extend those datasets with synthetically generated logical forms.
中文速览
语义解析（semantic parsing）任务需要把自然语言句子转换为机器可读的逻辑形式，但人工标注配对数据既昂贵又稀少，而单独的逻辑形式却相对容易大量获取。为此，研究者提出了一个名为 Seq4 的半监督序列转换模型：核心思路是在有监督的"自然语言→逻辑形式"训练目标之外，额外引入一个自编码目标——让逻辑形式先生成潜在的自然语言表示、再重建回逻辑形式（y→x→y），从而利用无标注的逻辑形式数据；为了解决离散符号采样无法反向传播的难题，他们用逻辑正态分布（logistic-normal distribution）结合重参数化技巧，将离散采样替换为连续松弛形式，使整个网络端到端可训练。在 GeoQuery、OpenStreetMap NLmaps 和 SAIL 迷宫导航三个基准上，Seq4 在配合自动生成的无标注逻辑形式数据后，普遍优于纯监督基线，尤其在有标注数据极少时优势更为明显，证明该方法能有效缓解语义解析中标注数据匮乏的瓶颈问题。
原文 arXiv:1609.09315;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1609.09315v1