CrossDomain、DomainAdaptation、DomainGeneralization

近些年Cross Domain、Domain Adaptation、Domain Generalization经常出现在小样本学习论文中，本文针对上述三个名词做一下简要概述，并列举出了小样本学习领域论文中相关介绍的片段用于帮助理解。

上述三个概念中，均有Domain，Domain：中文表示--域，即领域，指需要学习的数据及其分布，更确切地说主要包括数据的特征空间X、类别空间Y以及边缘分布即P(X) 。

一：Cross Domain

Cross Domain：中文表示--跨域。以小样本学习为例，跨域问题是指在学习过程中，源域(source domain)和目标域(target domain)在特征空间、类别空间或、边缘分布中的某一项或几项存在差异从而在学习过程中引起的问题。

针对小样本领域中的Cross Domain跨域问题，在一文中做了介绍并列举了实例。

Curry：小样本学习跨域（Cross-domain）问题总结 ​ zhuanlan.zhihu.com

接下来在用浅显的语言，补充介绍下Domain Adaptation域适应和Domain Generalization域泛化两个概念，并分别列举出小样本学习领域论文中多篇关于Domain Adaptation以及Domain Generalization的介绍，并附上原文链接。

二：Domain Adaptation

Domain Adaptation，缩写DA：中文表示--域适应，主要是针对Cross Domain跨域问题中源域和目标域的特征空间、类别空间相同、但边缘分布不同，即Ps(xs) /= Pt(xt)情况下的解决途径，如下图所示；域适应更多的应用在无监督学习下即UDA---Unsupervised Domain Adaptation。

2.1 A Broader Study of Cross-Domain Few-Shot Learning

域适应 ，领域自适应技术的研究由来已久，其目的是将知识从一个或多个源域转移到具有不同数据分布的目标域。早期的方法通常依赖于浅层分类模型的适应性，使用实例重加权[12]和模型参数自适应[65]等技术。最近，人们提出了许多使用深层神经网络来解决域适应问题的方法，包括基于差异的方法，旨在调整域之间的边缘分布[38,54,23,30]，基于对抗的方法，它们依赖于域鉴别器来鼓励与域无关的特征学习[59,14]，以及基于重构的技术，通常使用编码器-解码器模型或GANs来重建新域中的数据[4,69,22]。然而，所有这些方法都考虑到训练集和测试集具有相同的类的情况。一项工作考虑了这样一种情况：有些类可能不相交，但仍然需要类重叠才能成功对齐[50]。相比之下，我们研究了源域和目标域具有完全不相交的标签集的跨域少镜头学习问题。

2.2 CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION

域适应 。域适应方法（Pan&Yang，2010）旨在减少源域和目标域之间的域转移。自域对抗神经网络（DANN）（Gann等人，2016）出现以来，已提出了许多框架，用于应用对抗性训练，以在特征级别上对齐源域和目标域分布（Tzeng等人，2017；Chen等人，2018；Hsu等人，2020）或在像素级上（Tsai等人，2018；Hoffman等人，2018；Bousmalis等人，2017；Chen等人，2019b；Lee等人，2018）。然而，大多数域框架都以将与源域同一类别的知识适应目标域，因此与少数镜头分类场景中一样，处理新类别的效率较低。一个例外是董兴（Dong&Xing，2018）在一次学习环境中处理域转移问题的工作。然而，这些域自适应方法需要在培训期间访问目标域中的未标记图像。由于难以收集稀有种类（例如稀有鸟类）的大量实例，因此这种假设在许多应用中可能不可行。

2.3 Domain-Adaptive Few-Shot Learning

域适应 。注意，在我们的DA-FSL设置中涉及的域自适应问题不能通过监督域自适应（SDA）来解决[28,1]。虽然在我们的DA-FSL设置下，目标域中存在一小组标记样本用于DA，但目标域中的类与源域中的类没有重叠。近年来，无监督域适应（UDA）已成为DA研究的主流。传统的UDA模型[7,12,30,10,49,50,56,23,25]通常利用子空间对齐技术。许多现代的UDA方法[48,9,3,24,2,14,54,38,45,17]采用对抗学习[11]，通过鉴别器将源特征和目标特征之间的距离最小化。然而，如前所述，即使全局域分布对齐被强制执行，它也常常导致每类对齐，这降低了学习特征表示对于FSL任务的区分性。此外，由于现有的UDA方法仍然假设目标域包含与源域相同的类，因此最近关注每类跨域对齐的方法[42,26,5,20,41]不适合我们的DA-FSL问题。因此，我们的DAPN采用了全局域数据分布对齐[48,19,14]，并引入了防止每类对齐的特殊机制。

2.4 Unsupervised Domain Adaptation via Structurally Regularized Deep Clustering

2.5 META-LEARNING WITH DOMAIN ADAPTATION FOR FEW-SHOT LEARNING UNDER DOMAIN SHIFT

2.6 MetaReg: Towards Domain Generalization using Meta-Regularization

三：Domain Generalization

Domain Generalization，缩写DG：中文表示--域泛化，主要是针对更为复杂的源域和目标域的类别空间不同Ys≠Yt情况下的解决途径，如下图所示。

3.1 Feature-Critic Networks for Heterogeneous Domain Generalisation

域泛化DG 与域适应相关，因为我们关心的是目标域的性能，而不是源域的性能；但是它考虑的是目标域样本在训练过程中不可用的情况，因此模型必须直接泛化而不是适应目标域。DG与传统的泛化有关：在一组训练实例中学习的模型可以归纳为新的测试实例，例如通过正则化。然而它在更高的层次上运行，我们的目标是帮助在一组训练域上训练的模型泛化为一个新的测试域。

大多数现有的DG方法可分为三个c类别：基于特征的方法、基于分类器的方法和数据扩充方法。基于特征的方法：这些方法的目的是生成一个领域不变的表示。例如，源和目标示例的经验分布之间的距离最小（Li等人，2018b；Muandet et al.，2013；Li et al.，2018a）。基于分类器的方法：这些方法旨在通过融合从源域中学习的多个子分类器来增强泛化能力（Duan等人，2012；Niu等人，2015a；b），其他方法使用源样本学习改进的分类器正则化器，尤其是最近提出的MetaReg（Balaji等人，2018）。数据扩充方法：CrossGrad（Shankar等人，2018）生成输入实例的域引导扰动，然后使用这些扰动来训练更健壮的模型。Volpi等人。（2018）通过在每次迭代中添加对抗性示例，定义了一种自适应数据增强方案。我们的特征批评方法属于基于特征的范畴，但是meta学习了一个特征批评家网络来训练一个健壮的共享特征抽取器。

3.2 Learning to Generalize: Meta-Learning for Domain Generalization

域泛化 尽管有各种不同的方法工具，但大多数现有的分布式生成方法都是建立在三种主要策略上的。最简单的方法是为每个源域训练一个模型。当一个测试域出现时，估计最相关的源域并使用该分类器（Xu et al。2014年）。第二种方法是假设任何域都由一个底层的全局共享因子和一个特定于域的组件组成。通过在源域的训练过程中分解出特定于域和不可知域的组件，不可知域组件可以作为一个模型被提取和转移，该模型很可能在一个新的源域上工作（Khosla等人. 2012；Li等人. 2017年）。最后，学习一个领域不变的特征表示。如果一个特征表示可以最小化多个源域之间的差距，那么它应该提供一个在新的目标域上表现良好的独立于域的表示。这已经通过多视图自动编码器实现（Ghifary等人2015）和平均地图嵌入技术（Muandet、Balduzzi和Scholkopf 2013）。基于深层网络中的梯度反转域混乱损失也实现了这一点（Ganin和Lempitsky 2015；Bousmalis et al. 2016年）。在这里，多个源域被训练成附加的多任务损失，这更倾向于域不可区分的共享表示。虽然最初提出用于DA而不是DG，但这些方法可以适应DG设置（Li et al. 2017年）。与这些研究相比，我们是第一个通过元学习来解决领域泛化问题的。

3.3 CROSS-DOMAIN FEW-SHOT CLASSIFICATION VIA LEARNED FEATURE-WISE TRANSFORMATION

领泛化 。与域适应框架不同，域泛化（Blanchard等人，2011）方法旨在从一组可见域泛化到不可见域，而无需在训练阶段从看不见的域访问实例。在元学习方法出现之前（Ravi & Larochelle，2017；Finn等人，2017）已经提出了几种解决领域泛化问题的方法。包括从各种可见域中提取域不变特征（Blanchard等人，2011；Li等人，2018b；Muandet et al.，2013），通过融合从所见域中学习的分类器来改进分类器（Niu等人，2015a；b），并将分类器分解为特定于域和域不变的组件（Khosla等人，2012；Li等人，2017a）。另一个工作流程是通过对抗性学习来增强输入数据（Shankar等人，2018年；Volpi等人，2018年）。最近，许多方法在训练阶段应用元学习策略来模拟泛化过程（Balaji等人，2018；Li等人，2018a；2019）。我们的方法采用一种类似的方法来训练所提出的按特征转换层。然而，应用背景与以往的工作有所不同，因为我们在少数镜头分类中关注从看不见的领域中识别新类别。这项工作的目标是使少数镜头分类算法对域移动具有鲁棒性。

3.4 MetaReg: Towards Domain Generalization using Meta-Regularization

本篇文章就介绍这些，欢迎点赞+关注作者+订阅专栏，上述内容仅代表个人观点，不足之处请多包含，欢迎各种形式交流讨论。