Example-Based Named Entity Recognition
Morteza Ziyadi∗、Yuting Sun、Abhishek Goswami Microsoft Dynamics 365 AI、Jade Huang、Weizhu Chen * The first two authors contributed equally to this paper
Abstract
We present a novel approach to named entity recognition (NER) in the presence of scarce data that we call example-based NER. Our train-free few-shot learning approach takes inspiration from question-answering to identify entity spans in a new and unseen domain. In comparison with the current state-of-the-art, the proposed method performs significantly better, especially when using a low number of support examples.
中文速览
命名实体识别（NER）在数据匮乏的新领域里表现很差，因为传统模型高度依赖大量标注数据和预定义类别，一旦遇到从未见过的实体类型就无能为力。为此，研究者提出了"基于示例的NER"（example-based NER）方法：借鉴抽取式问答的思路，用极少量带标注的示例句子（每种实体类型仅需10个左右）作为"支持样本"，通过计算支持样本中实体边界向量与查询句子中各词向量之间的相似度，直接定位新实体的起止位置，全程无需在目标领域重新训练模型。在多个跨域数据集（ATIS、MIT Movie、MIT Restaurant、SNIPS）上的实验表明，该方法在F1分数上比此前最优方法提升超过30%，在部分场景下甚至提升48个百分点。这项工作的意义在于，它让普通用户无需任何机器学习专业知识和高昂的训练成本，就能为聊天机器人等应用快速定制全新的实体类型。
原文 arXiv:2008.10570;中英对照 + 大白话阅读 https://aha.fim.ai/paper/2008.10570v1