Low Resource Text Classification with ULMFit and Backtranslation
Sam Shleifer Stanford University shleifer [at] stanford.edu
Abstract
In computer vision, virtually every state of the art deep learning system is trained with data augmentation. In text classification, however, data augmentation is less widely practiced because it must be performed before training and risks introducing label noise. We augment the IMDB movie reviews dataset with examples generated by two families of techniques: random token perturbations introduced by Wei and Zou (2019) and backtranslation – translating to a second language then back to English.
中文速览
在训练数据极少的情况下，文本分类模型表现往往很差，而数据增强（data augmentation）是缓解这一问题的常见手段，但在自然语言处理领域却远不如计算机视觉普及。研究者以IMDB电影评论情感分类为实验对象，在预训练语言模型ULMFit的基础上，分别测试了两类增强方法：将文本翻译成其他语言再翻译回英语的"回译"（backtranslation），以及随机替换、删除、交换词语的词元扰动（token perturbation）。实验结果显示，在仅有50条真实标注样本的极低资源场景下，加入500条回译合成样本后准确率从72.5%提升至80.6%，额外训练时间仅约9分钟；而词元扰动无论在何种数据规模下均未带来明显收益。当训练数据扩大到完整的25,000条时，两种增强方法的优势基本消失，预训练本身的贡献远超任何增强手段。这项工作的实践意义在于：对资源匮乏的文本分类任务，回译是一种低成本、有效的数据扩充策略，而在数据充足时应将精力优先投入更好的预训练模型，而非数据增强。
原文 arXiv:1903.09244;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1903.09244v2