CVPR2022 | 弱监督多标签分类中的损失问题

admin

前言 本文提出了一种新的弱监督多标签分类（WSML）方法，该方法拒绝或纠正大损失样本，以防止模型记忆有噪声的标签。由于没有繁重和复杂的组件，提出的方法在几个部分标签设置（包括Pascal VOC 2012、MS COCO、NUSWIDE、CUB和OpenImages V3数据集）上优于以前最先进的WSML方法。各种分析还表明，方法的实际效果很好，验证了在弱监督的多标签分类中正确处理损失很重要。

论文：Large Loss Matters in Weakly Supervised Multi-Label Classification

论文：http://arxiv.org/pdf/2206.03740

代码：https://github.com/snucml/LargeLossMatters
背景
弱监督多标签分类（WSML）任务是利用每幅图像的部分观察标签来学习多标签分类，由于其巨大的标注成本，变得越来越重要。

目前，有两种简单的方法可以使用部分标签来训练模型。一种是只使用观察到的标签来训练模型，而忽略未观察到的标签。另一种是假设所有未观察到的标签都是负面的，并将其纳入训练，因为在多标签设置中，大多数标签都是负面的。

但第二种方法有一个局限性，即这种假设会在标签中产生一些噪声，从而妨碍模型学习，因此之前的工作大多遵循第一种方法，并尝试使用各种技术（如引导或正则化）探索未观察标签的线索。然而，这些方法包括大量计算或复杂的优化管道。

基于以上思路，作者假设，如果标签噪声能够得到妥善处理，第二种方法可能是一个很好的起点，因为它具有将许多真正的负面标签纳入模型训练的优势。因此，作者就从噪声标签学习的角度来看待WSML问题。

众所周知，当训练带有噪声标签的模型时，该模型首先适应干净的标签，然后开始记忆噪声标签。虽然之前的研究表明记忆效应仅在有噪声的多类别分类场景中存在，但作者发现，在有噪声的多标签分类场景中也存在同样的效应。如图1所示，在训练期间，来自干净标签（真负样本）的损失值从一开始就减小，而来自噪声标签（假负样本）的损失从中间减小。

图1 WSML中的记忆效应

基于这一发现，作者开发了三种不同的方案，通过在训练过程中拒绝或纠正大损失样本，防止误报标签被记忆到多标签分类模型中。

贡献
1） 首次通过实验证明，记忆效应发生在有噪声的多标签分类过程中。

2） 提出了一种新的弱监督多标签分类方案，该方案明确利用了带噪声标签的学习技术。

3）提出的方法轻巧且简单，在各种部分标签数据集上实现了最先进的分类性能。

方法
在本文中，作者提出了新的WSML方法，其动机是基于噪声多类学习的思想，它忽略了模型训练过程中的巨大损失。通过在损失函数中进一步引入了权重项λi：

作者提出了三种提供权重λi的不同方案，示意图描述如图2所示。

图2 提出的方法的总体管道

1.损失拒绝
处理大损耗样本的一种方法是通过设置λi=0来拒绝它。在有噪声的多类任务中，B.Han等人提出了一种在训练过程中逐渐增加拒绝率的方法。作者同样设置函数λi，

由于模型在初始阶段学习干净的模式，因此在t=1时不拒绝任何损失值。在每次迭代中使用小批量而不是完整批量D′来组成损失集。作者将此方法称为LL-R。

2. 损失纠正（临时）
处理大损失样本的另一种方法是纠正而不是拒绝它。在多标签设置中，可以通过将相应的注释从负值切换到正值来轻松实现这一点。“临时”一词的意思是，它不改变实际标签，而只使用根据修改后的标签计算的损失，将函数λi定义为

作者将此方法命名为LL-Ct。这种方法的优点是，它从未观察到的标签中增加了真实阳性标签的数量。

3. 损失纠正（永久）
通过永久更正标签来更积极地处理较大的损失值。直接将标签从阴性改为阳性，并在下一个训练过程中使用修改后的标签。为此，为每种情况定义λi=1，并修改标签如下：

作者将此方法命名为LL-Cp。

实验
表2 人为创建的部分标签数据集的定量结果

表3 OpenImages V3数据集中的定量结果

图3 人为生成COCO部分标签数据集的定性结果

图4 COCO数据集上建议的方法的精度分析

图5 LL-Ct对COCO数据集的超参数效应

图6 使用较少数量的图像进行训练

表4 Pointing Game

结论
在本文中，作者提出了损失修改方案，该方案拒绝或纠正了在训练带有部分标记注释的多标签分类模型时出现的大损失样本。这源于经验观察，即记忆效应也发生在嘈杂的多标签分类场景中。

虽然不包括繁重的和复杂的组件，但作者的方案成功地防止了多标签分类模型记忆有噪声的假阴性标签，在各种部分标记的多标签数据集上实现了最先进的性能。