Easy-First Dependency Parsing with Hierarchical Tree LSTMs
Eliyahu Kiperwasser Computer Science Department Bar-Ilan University Ramat-Gan, Israel、Yoav Goldberg Computer Science Department Bar-Ilan University Ramat-Gan, Israel
Abstract
We suggest a compositional vector representation of parse trees that relies on a recursive combination of recurrent-neural network encoders. To demonstrate its effectiveness, we use the representation as the backbone of a greedy, bottom-up dependency parser, achieving very strong accuracies for English and Chinese, without relying on external word embeddings. The parser’s implementation is available for download at the first author’s webpage.
中文速览
递归神经网络在处理依存句法树时面临一个难题：真实句子中每个词可以有任意数量的修饰语，而现有方法要么强行把树变成二叉结构，要么忽略修饰语的顺序。本文提出了一种名为"层次树LSTM（Hierarchical Tree LSTM）"的树编码方法，核心思路是把一个词左侧和右侧的修饰语分别当作序列，用两个LSTM从中心词向外依次编码，再把两个方向的编码拼接起来，如此递归地自底向上构建整棵树的向量表示。基于这一表示，作者实现了一个贪婪的自底向上依存分析器，在英语PTB上取得了92.6 UAS / 90.2 LAS、在中文树库上取得了86.1 UAS / 84.4 LAS的成绩，且不依赖任何外部词向量。这项工作首次证明，仅凭组合式的树结构向量表示，不借助重排序框架，就能在大规模依存句法分析任务上达到有竞争力的精度，为后续将此类表示应用于情感分析、句子相似度等语义任务奠定了基础。
原文 arXiv:1603.00375;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1603.00375v2