2021MM PSR解读

北极网友阿伟 发布于 5 月 17 日

Pairwise Similarity Regularization for Adversarial Domain Adaptation

动机：

现有基于对抗的方法会使用源域分类器伪标记目标域样本来实现条件分布的域对齐。但目标域结构比源域复杂的时候，假标签不可靠。

举的例子是office-31 ResNet DANN, CDAN.A-W能达到八九十准确度，而W-A只有六七十。同时验证每个batch里的假标签准确率，CDAN在W-Abatch准确率只有50%左右也不可靠（不过CDAN不是有Entropy加权吗）

Pairwise Similarity Regularization (PSR)

方法

使得同一个簇里面的两个目标域样本具有相同的预测。总体框架如下。框架上半部分是学生模型，下面是老师模型。老师模型用于聚类，打pair标签。学生模型就是普通的对抗网络，但加上了pair约束。

Source-aided Target Clustering（Teacher Model）

使用DeepCluster model【1】（18年的深度聚类结构），

优化使用两个loss，首先是clustering loss:

A是形心举证，ycl是聚类标签。这个loss对应的是Kmeans里指派形心和归类的过程。可以看出这里是不优化任何网络参数的。

另外一个loss是source-aided loss：

loss由（1）从刚刚得到的目标域聚类假标签计算的分类损失和（2）源域真实标签的分类损失组成。β是平衡因子。

Guiding Adversarial Training with Pairwise Similarity Regularization

每个训练迭代，聚类标签ycl由Teacher Model给出，然后构建pair关系图Rcl，同时学生模型也根据预测构建pair关系图。计算一个MSE loss。

然后加上分类损失和对抗损失，基本跟CDAN，DANN一样。
【1】 Deep clustering for unsupervised learning of visual features

实验

在office31，office-home，visda，digit进行验证，效果差不多就是现有最好的了。

评论

看完一个感觉是，方法咋跟我投ICCV的这么像，我发誓投之前绝对没看过他的。客观来说，我的跟他还是很多不同的，但思想很类似，创新性也很难说谁高谁低。但是它这个效果有点夸张了，D-A，W-A到了80+？其它都在5%以上，没开源不好说。