我们提出通过一种新的跨域距离一致性损失（cross-domain distance consistency loss）来 维持源中实例之间的相对相似性和差异性。为了进一步减少过拟合，我们提出了一种基于锚（anchor-based）的策略，以鼓励在潜空间中不同区域的不同层次的 realism。通过在 photorealistic 和 non-photorealistic 领域的广泛结果，我们定性和定量地证明了我们的 few-shot 模型自动发现了源和目标领域之间的对应关系，并产生比以前的方法更多样化和逼真的图像。
我们探索了从源域中迁移另一种信息的方式来解决少样本的数据，这种信息为 how images relate to each other。直观上来说，如果模型在源域中可以维持实例间的相对相似性和差异性，则在适应新域的时候也有机会去继承这个多样性。
在两个域之间执行这种结构级 structure-level 对齐时，会出现一些有趣的属性。具体来说，当源域和目标域相关时（如人脸和漫画），我们的方法自动发现它们之间一对一的对应关系，能够更真实地模拟目标分布的多样性和图像的真实性，如图1所示。当这两个领域不相关时（例如，汽车和漫画），我们的方法无法建模目标分布，但仍然发现有趣的部分级 part-level 对应，以生成不同的样本。
由于少量的训练样本只形成了需要近似目标分布的一个小子集，我们发现有必要以两种不同的方式加强 realism，以不过分地惩罚生成的图像之间的多样性。 我们在一张合成的图像上应用一个图像级 image-level 的对抗损失，它应该映射到一个真实的样本。对于所有其他合成图像，我们只实施一个补丁级 patch-level 的对抗损失。这样，我们生成的样本中只有一小部分需要看起来像少量训练图像中的一个，而其余的只需要捕获它们的 patch-level 纹理。
Few-shot learning.
Domain translation.
Distance preservation. 为了缓解 gan 中的模式崩塌，DistanceGAN[2] 建议在相应生成的输出对中保留输入对之间的距离。类似的方案被用于无条件[25,17]和有条件[18,33]的生成任务，以增加生成的多样性。
We are given a source generator $G_s$, trained on a large source dataset $\mathcal{D}s$, which maps noise vectors $z∼ p_z (z)⊂ \mathcal{Z}$ , drawn from a simple distribution in a low-dimensional space, into images $x$. We aim to learn an adapted generator $G{s\to t}$ by initializing the weights to the source generator and fitting it to a small target dataset $\mathcal{D}_t$. discriminator D.
$$ \begin{equation} \begin{gathered} \mathcal{L}{\text {adv }}(G, D)=D(G(z))-D(x) \\ {G{s \rightarrow t}^{*}=\mathbb{E}{z \sim p{z}(z), x \sim \mathcal{D}_{t}}} \arg \min _{G} \max {D} \mathcal{L}{\text {adv }}(G, D) . \end{gathered} \end{equation} $$
之前的工作 [32] 表明，当目标数据集大小超过 1000 个训练样本时，这很有效。 然而，在极少样本设置中，这种方法会过拟合，因为鉴别器可以记住少数样本并强制生成器重现它们。 这如图 2 所示，在将源模型（顶行）调整到少样本目标数据集（中行）后，我们看到崩溃。
为了防止过度拟合以生成多样化和逼真的图像（图 2，底行），我们提出了一种新的跨域一致性损失（第 3.1 节），它积极使用原始源生成器来规范 tuning process，以及一个“宽松 relaxed”的鉴别器 （第 3.2 节），这鼓励了潜空间中不同区域的不同程度的 realsim。 我们的方法如图 3 所示。
在适应过程中，过拟合的一种原因是源域的相对距离没有得到保留，如 图2。