计算机视觉中的半监督学习( 二 ) _半监督学习

文章插图

d. Virtual Adversarial Training
该方法由Miyato 等[6]提出。利用对抗性攻击的概念进行一致性正则化。
关键的想法是生成一个图像的对抗性变换，这将改变模型的预测。为此，首先，拍摄一幅图像并创建它的对抗变体，使原始图像和对抗图像的模型输出之间的 KL 散度最大化。
然后按照前面的方法进行。我们将带标签/不带标签的图像作为第一个观测，并将在前面步骤中生成的与之对抗的样本作为第二个观测。然后，用同一模型对两幅图像的标签分布进行预测。这两个预测的 KL 散度被用作一致性损失。对于标记了的图像，我们也计算交叉熵损失。最终损失是这两个损失项的加权和。采用加权偏置模型来确定一致性损失在整体损失中所占的比重。

文章插图

e. Unsupervised Data Augmentation
该方法由Xie 等[7]提出，适用于图像和文本。在这里，我们将在图像的上下文中理解该方法。
关键思想是使用自动增强创建一个增强版本的无标签图像。然后用同一模型对两幅图像的标签进行预测。这两个预测的 KL 散度被用作一致性损失。对于有标记的图像，我们只计算交叉熵损失，不计算一致性损失。最终的损失是这两个损失项的加权和。权重 w(t)用于决定稠度损失在总损失中所占的比重。

文章插图

3、混合方法这个范例结合了来自过去的工作的想法，例如自我训练和一致性正则化，以及用于提高性能的其他组件。
a. MixMatch
这种整体方法是由Berthelot 等[8]提出的。
为了理解这个方法，让我们看一看每个步骤。
i. 对于标记了的图像，我们创建一个增强图像。对于未标记的图像，我们创建 K 个增强图像，并对所有的 K 个图像进行模型预测。然后，对预测进行平均以及温度缩放得到最终的伪标签。这个伪标签将用于所有 k 个增强。

文章插图

ii. 将增强的标记了的图像和未标记图像进行合并，并对整组图像进行打乱。然后取该组的前 N 幅图像为 W~L~，其余 M 幅图像为 W~U~ 。

文章插图

iii. 现在，在增强了的有标签的 batch 和 W~L~之间进行 Mixup 。同样，对 M 个增强过的未标记组和 W~U~中的图像和进行 mixup 。因此，我们得到了最终的有标签组和无标签组。

文章插图

iv. 现在，对于有标签的组，我们使用 ground truth 混合标签进行模型预测并计算交叉熵损失。同样，对于没有标签的组，我们计算模型预测和计算混合伪标签的均方误差(MSE)损失。对这两项取加权和，用 λ 加权 MSE 损失。、

文章插图

b. FixMatch
该方法由Sohn 等[9]提出，结合了伪标签和一致性正则化，极大地简化了整个方法。它在广泛的基准测试中得到了最先进的结果。
如我们所见，我们在有标签图像上使用交叉熵损失训练一个监督模型。对于每一幅未标记的图像，分别采用弱增强和强增强方法得到两幅图像。弱增强的图像被传递给我们的模型，我们得到预测。把置信度最大的类的概率与阈值进行比较。如果它高于阈值，那么我们将这个类作为标签，即伪标签。然后，将强增强后的图像通过模型进行分类预测。该预测方法与基于交叉熵损失的伪标签的方法进行了比较。把两种损失合并来优化模型。