Evaluating the Underlying Gender Bias in Contextualized Word Embeddings
Christine Basta Marta R. Costa-jussà Noe Casas Universitat Politècnica de Catalunya
Abstract
Gender bias is highly impacting natural language processing applications. Word embeddings have clearly been proven both to keep and amplify gender biases that are present in current data sources. Recently, contextualized word embeddings have enhanced previous word embedding techniques by computing word vector representations dependent on the sentence they appear in.
中文速览
词向量（word embedding）会从训练语料中吸收并放大性别偏见，即便经过专门的去偏处理，偏见信息仍暗藏在向量空间中。研究者将目光转向上下文相关词向量（contextualized word embeddings）——以ELMo为代表，同一个词在不同句子里会得到不同的向量表示——系统检验这类新型词向量是否同样存在性别偏见。他们沿用了直接偏见度量、聚类分析和分类实验三种已有评估手段，将ELMo的结果与标准word2vec及其去偏版本进行对比。结果显示，ELMo的直接偏见分数（0.03）远低于标准词向量（0.08），聚类和分类任务中对性别偏向词的识别准确率也明显下降，表明上下文相关词向量所携带的性别偏见显著少于标准词向量，甚至优于经过专门去偏处理的版本。这一发现说明，让词的表示依赖具体语境本身就是一种天然的偏见缓解机制，对如何构建更公平的NLP系统具有重要的参考价值。
原文 arXiv:1904.08783;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1904.08783v1