MinDiff 要求

我应该在什么时候使用 MinDiff？

当您的模型在总体上表现良好，但在属于敏感群体的样本上频繁出现有害错误，且您希望缩小这种性能差距时，可以使用 MinDiff。您所关注的敏感群体可能会因用例而异，但通常包括受保护的群体，如种族、宗教、性别、性取向等。在本文档中，我们将使用“敏感群体”来指代任何属于受保护类别的样本集合。

使用 MinDiff 来解决性能不佳的数据切片主要有两个条件：

  • 您已经调整并评估了模型，确定了显示数据切片表现不佳的指标。这必须在应用模型修复之前完成。
  • 您已经拥有，或者能够获得足够数量的、属于表现不佳群体的相关标注样本（详情见下文）。

MinDiff 是修复不平等行为的多种技术之一。特别是当您试图直接平衡各群体之间的性能时，它可能是一个不错的选择。MinDiff 可以与其他方法（如数据增强等）结合使用，这可能会带来更好的结果。然而，如果您需要优先考虑投入哪种技术，应根据您的产品需求来决定。

应用 MinDiff 时，随着表现不佳群体的性能提升，您可能会看到表现最好的群体的性能出现轻微下降或偏移。这种权衡是预料之中的，应在您的产品需求背景下进行评估。在实践中，我们经常发现 MinDiff 不会导致表现最好的切片降至可接受水平以下，但这取决于具体的应用，需要由产品负责人做出决定。

我可以在哪些模型类型上应用 MinDiff？

事实证明，MinDiff 在应用于二元分类器时效果始终如一。将该方法用于其他应用是可能的，但尚未经过全面测试。一些研究表明它在多分类和排名任务中取得了成功1，但在这些或其他类型的模型上使用 MinDiff 时，应将其视为实验性的。

我可以在哪些指标上应用 MinDiff？

当您试图平衡各群体间的指标为误报率 (FPR) 或漏报率 (FNR) 时，MinDiff 可能是一个很好的解决方案，但它也可能适用于其他指标。作为一个通用规则，当您的目标指标是由属于敏感群体的样本与不属于敏感群体的样本之间的评分分布差异导致时，MinDiff 可能会生效。

构建您的 MinDiff 数据集

在准备使用 MinDiff 进行训练时，您需要准备三个独立的数据集。与常规训练一样，您的 MinDiff 数据集应当代表您的模型所服务的用户群体。虽然在没有满足此条件的情况下 MinDiff 也可能有效，但在此类情况下您应格外谨慎。

假设您试图改善模型在属于敏感类别样本上的 FPR，您将需要：

  1. 原始训练集 - 用于训练基准模型的原始数据集。
  2. MinDiff 敏感集 - 一个仅包含负面基本事实标签（ground truth labels）的敏感类别样本数据集。这些样本将仅用于计算 MinDiff 损失。
  3. MinDiff 非敏感集 - 一个仅包含负面基本事实标签的非敏感类别样本数据集。这些样本将仅用于计算 MinDiff 损失。

使用该库时，您将把这三个数据集组合成一个单一数据集，作为新的训练集。

为 MinDiff 挑选样本

如果您主要关注的是误报率 (FPR) 的差异，那么在上述示例中挑选负面标记的样本集可能看起来有悖常理。然而，请记住，误报预测源于被错误分类为正面的负面标记样本。

在为 MinDiff 收集数据时，您应该挑选性能差异明显的样本。在上面的例子中，这意味着为了解决 FPR 问题，需要选择负面标记的样本。如果我们想要针对 FNR，则需要选择正面标记的样本。

我需要多少数据？

这是一个好问题——这取决于您的用例！根据您的模型架构、数据分布和 MinDiff 配置，所需的数据量可能会有很大差异。在过去的应用中，我们发现 MinDiff 在每个 MinDiff 训练集中使用 5,000 个样本（上述部分中的集合 2 和 3）时效果良好。如果数据较少，性能下降的风险会增加，但在您的生产约束范围内，这可能是极小的或可接受的。应用 MinDiff 后，您需要彻底评估结果以确保性能可接受。如果结果不可靠或未达到性能预期，您可能仍需要考虑收集更多数据。

什么时候 MinDiff 不适合我？

MinDiff 是一项强大的技术，可以提供令人印象深刻的结果，但这并不意味着它是所有情况下的正确方法。随意应用它并不能保证您能获得足够的解决方案。

除了上述要求外，在某些情况下，MinDiff 可能在技术上可行，但并不适用。您应始终根据已知的推荐实践来设计机器学习工作流程。例如，如果您的模型任务定义不清、产品需求不明或样本标签过于倾斜，您应该优先解决这些问题。同样，如果您没有明确的敏感群体定义，或者无法可靠地确定样本是否属于敏感群体，您将无法有效地应用 MinDiff。

从更高层面来看，您应该始终考虑您的产品是否适合使用机器学习。如果适合，请考虑它可能带来的用户伤害路径。追求负责任的机器学习是一项多方面的努力，旨在预测广泛的潜在伤害；MinDiff 可以帮助减轻其中的一些，但所有结果都需要仔细权衡。

1Beutel A., Chen, J., Doshi, T., Qian, H., Wei, L., Wu, Y., Heldt, L., Zhao, Z., Hong, L., Chi, E., Goodrow, C. (2019). 通过配对比较实现推荐排名的公平性 (Fairness in Recommendation Ranking through Pairwise Comparisons)。