领域自适应：学习界与算法

中文速览

当训练数据来自一个领域、实际应用却落在另一个领域时，模型往往会失准；关键是判断两个领域的差异是否会影响模型表现。论文提出“差异度”（discrepancy distance），用模型在两种数据分布上的损失变化来衡量这种差异，并用拉德马赫复杂度（Rademacher complexity）给出有限样本下的估计方法和泛化保证。理论结果适用于分类、回归等多种损失，也覆盖支持向量机和核岭回归；作者还设计了重加权源数据、尽量缩小差异度的算法，并通过初步实验展示其效果。它的重要性在于把领域适应从特定任务的经验技巧推进为一套更通用的分析与算法框架，让模型能更有依据地借助一个领域的数据适应另一个领域。

摘要

本文探讨了领域自适应的一般问题。该问题出现在各种应用中，在这些应用中，可用的带标记样本分布与测试数据分布存在一定差异。在？（？）先前工作的基础上，我们提出一种新的分布间距离——差异距离，该距离专为具有任意损失函数的自适应问题设计。对于不同的损失函数，我们给出了基于有限样本估计差异距离的 Rademacher 复杂度界。利用这一距离，我们为一大类损失函数推导出新的领域自适应泛化界。我们还针对大类基于正则化的算法提出了一系列新的自适应界，包括基于经验差异的支持向量机（SVM）和核岭回归（KRR）。这促使我们分析了针对各种损失函数最小化经验差异的问题，并为此给出了新的算法。我们报告了初步实验结果，表明我们的差异最小化算法对领域自适应有益。

This paper addresses the general problem of domain adaptation which arises in a variety of applications where the distribution of the labeled sample available somewhat differs from that of the test data. Building on previous work by ? (?), we introduce a novel distance between distributions, discrepancy distance, that is tailored to adaptation problems with arbitrary loss functions. We give Rademacher complexity bounds for estimating the discrepancy distance from finite samples for different loss functions. Using this distance, we derive novel generalization bounds for domain adaptation for a wide family of loss functions. We also present a series of novel adaptation bounds for large classes of regularization-based algorithms, including support vector machines and kernel ridge regression based on the empirical discrepancy. This motivates our analysis of the problem of minimizing the empirical discrepancy for various loss functions for which we also give novel algorithms. We report the results of preliminary experiments that demonstrate the benefits of our discrepancy minimization algorithms for domain adaptation.

术语表

domain adaptation

领域自适应

source domain

源域

target domain

目标域

source distribution

源分布

target distribution

目标分布

discrepancy distance

差异距离

$d_A$ distance

$d_A$ 距离

Rademacher complexity

Rademacher 复杂度

generalization bound

泛化界

loss function

损失函数

hypothesis

假设

hypothesis set

假设集合

labeling function

标记函数

empirical discrepancy

经验差异

discrepancy minimization

差异最小化

regularization-based algorithm

基于正则化的算法

support vector machine (SVM)

支持向量机（SVM）

kernel ridge regression (KRR)

核岭回归（KRR）

empirical risk minimization

经验风险最小化

maximum a posteriori (MAP) adaptation

最大后验（MAP）自适应

VC dimension

VC 维

0-1 loss

0-1 损失

square loss

平方损失

linear program (LP)

线性规划（LP）

semi-definite program (SDP)

半定规划（SDP）

reweighting

重新加权

unlabeled data

无标记数据

supervised learning

监督学习