迁移学习（EDA）《Energy-based Domain Adaption with Active Learning for Emerging...

迁移学习（EDA）《Energy-based Domain Adaption with Active Learning for Emerging Misinformation Detection》

论文标题：Energy-based Domain Adaption with Active Learning for Emerging Misinformation Detection
论文作者：Kyumin Lee; Guanyi Mou; Scott Sievert
论文来源：
论文地址：download 
论文代码：download

　　基于能量的模型（EBM），应该给正确的类 y˘y˘ 产生较低的能量：

　　　　y˘=argminy∈YE(x,y)(1)y˘=argminy∈Y⁡E(x,y)(1)

　　本文域适应损失——源域监督损失 + 域对齐损失。

　　源域监督损失 Ls− classification Ls− classification  如下：

　　　　Ls− classification =E(x,y;θ)2+exp(−E(x,y¯;θ))(2)Ls− classification =E(x,y;θ)2+exp(−E(x,y¯;θ))(2)

　　其中，yy 是真实的类，y¯y¯ 是另一个/不正确的类。

　　域对齐损失 LD− Alignment LD− Alignment  如下：

　　　　LD− Alignment =max(0,Ex∼DSF(x;θ)−Ex∼DTF(x;θ))(3)LD− Alignment =max(0,Ex∼DSF(x;θ)−Ex∼DTF(x;θ))(3)

　　其中，F(x;θ)=−log∑y∈Yexp(−E(x,y;θ))F(x;θ)=−log⁡∑y∈Yexp(−E(x,y;θ)) 。

　　总损失如下：

　　　　LDA=LS-classification +λ∗LD− Alignment (4)LDA=LS-classification +λ∗LD− Alignment (4)

　　如 Figure 1 所示，模型经过域自适应训练，就进行主动学习，它基于一定准测从目标域选取一些实列，并取得其真实标签。然后，使用带标记的目标实例来进一步训练我们的模型。

　　在每一轮中，一旦从目标域得到带有标记的样本，将进一步重新训练模型，然后测量以下损失函数：

　　　　LAL=LT-classification +λ∗LD− Alignment (5)LAL=LT-classification +λ∗LD− Alignment (5)

　　LT-classification LT-classification  代表了带标记样本的分类损失（选择的）。LD− Alignment LD− Alignment  用于对齐源域和目标域的自由能分布。

　　Note：本文的主动学习策略为：(i) 随机选择（EDA-randon）和 （ii）基于不确定性的选择（EDA-不确定性）。

　　模型框架图：

数据集

实验细节

　　每个数据集分别被拆分为训练集、验证集和测试集，其比例分别为 70%、10% 和 20%。选择其中一个数据集作为目标域数据集，其余两个数据集通过组合在一起作为源域数据集。

实验结果

__EOF__