Context-Aware Sentence/Passage Term Importance Estimation For First Stage Retrieval
Zhuyun Dai Carnegie Mellon University and Jamie Callan Carnegie Mellon University
Abstract
Term frequency is a common method for identifying the importance of a term in a query or document. But it is a weak signal, especially when the frequency distribution is flat, such as in long queries or short documents where the text is of sentence/passage-length. This paper proposes a Deep Contextualized Term Weighting framework that learns to map BERT’s contextualized text representations to context-aware term weights for sentences and passages.
中文速览
传统搜索引擎依赖词频（term frequency）来判断词语的重要性，但在短文本（如段落或长查询）中词频分布往往很平，这种信号极为微弱，导致第一阶段检索（first-stage retrieval）准确率不高。为此，作者提出了 DeepCT 框架，利用 BERT 生成的上下文感知词向量，通过一个线性回归层为每个词预测重要性权重，再将这些权重转换为类似词频的整数存入普通倒排索引，从而在不改变检索基础架构的前提下实现语义级别的词语权重估计。框架分为两个应用：DeepCT-Index 在离线建索引时对段落中的词重新赋权，DeepCT-Query 则在查询时识别长查询中的关键词，二者均可直接供 BM25 等传统第一阶段检索模型使用。在四个数据集上的实验表明，DeepCT 显著提升了第一阶段检索精度，意义在于它首次将深度语言模型的语义理解能力低成本地嵌入到检索流水线最前端，为后续重排序阶段提供更高质量的候选集。
原文 arXiv:1910.10687;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1910.10687v2