Joint Disentangling and Adaptation for Cross-Domain Person Re-Identi?cation (ECCV 2020)

标签：共享   image   特征   ISE   之间   UNC   其他   需要   dap   

1. Motivation

• 目前大部分域自适应方法一般是分为两种：input-level 和 feature-level。这些方法大部分都是在特征空间中进行操作，而这些特征同时包含 id-related 和 id-unrelated 信息，其中的 id-unrelated 信息会干扰和限制域自适应的性能。
• Cross-domain Re-ID 需要解决两个问题：disentangling (解耦) 和 adaption (域适应) , 目前大部分方法只解决其中一个问题，因此如何在缺少目标域监督信息的情况下，同时解决这两个问题，缩小 domain gap 成为了 一个值得解决的问题。

2. Method

2.1 Idea

• 将潜在的特征空间分为三部分：shared appearance space (用于捕捉 id-relate 信息)，source structure space (姿态，视角，背景等 id-unrelated 信息) , target structure space.

2.2 Network

Disentangling Module

• \(E_{app}\): 用于提取两个域 id-related 信息，参数共享；
• \(E_{str}\): 用于提取两个域各自的 id-unrelated 信息， 参数不共享；
• \(G^t\), \(G^s\): 目标域和源域的生成器，通过重组 id-related 和 id-unrelated 信息生成对应模态的图片
• \(D_{dom}\): 用于判别来自源域或者目标域
• \(D_{img}\): 用于判别图像是真亦或是来自生成的伪造图像

Loss Function

• Cross-domain Generation

  为了保证图像生成器伪造的质量以及提高特征的判别性，作者用循环一致性损失和交叉熵损失来约束：

图像生成的对抗损失如下：

• Adaptation Module

  为了消除两个域的差异，我们要实现 id-relate 信息也是域无关的，也就是不论是目标域还是源域，对于同一个id的图像，提取的 id-relate 特征应该是相似的，因此引入了一个domain的判别器损失：

• Self-training

  用聚类的方法，给目标域的图像打伪标签，用 K-reciprocal 来衡量点对之间的距离，以迭代的方式进行网络微调，获得的伪标签通过交叉熵损失来约束 id-relate 编码器 \(E_{app}\)：

• Discussion

  Disentangling 和 Adaptation 两个模块互相有积极的作用：

  i ) 通过对抗学习，Disentangling Module 学习到 id-relate 信息，将 id-unrelate 信息剔除， 避免其对域适应过程产生干扰

  ii ) Adaptation Module 可以减轻 Disentangling Module 的任务, 通过 domain 对齐可以使得解耦更加容易

3. Experiments

3.1 Comparison with the SOTA

• 作者提到本文的 Disentangling Module 可以用到其他 Adaptation 方法中去，可以提升性能。

3.2 Ablation Study

• 只添加 Disentangling Module 可以提升五个点左右，因此可以看出来，即使没有域适应，只需要把id-unrelate 信息尽可能剔除，一样可以提升性能。
• 由表中可以看出来，self-training 对性能的提升还是比较大的

4. Conclusion

• 把图像解耦成 id-related 和 id-unrelated 信息，在 id-relate 特征空间中进行 domain 对齐。
• 将解耦和域适应结合，用生成的方式进行域迁移，解耦和域适应两个模块互相促进。

Joint Disentangling and Adaptation for Cross-Domain Person Re-Identi?cation (ECCV 2020)

标签：共享   image   特征   ISE   之间   UNC   其他   需要   dap   

原文地址：https://www.cnblogs.com/codeSnail/p/13390065.html