公平性指标
公平性指标是一个库，它可以轻松计算二元和多类分类器的常用公平性指标。使用公平性指标工具套件，您可以
- 计算分类模型的常用公平性指标
- 将模型性能跨子组与基线或其他模型进行比较
- 使用置信区间来显示统计上显著的差异
- 在多个阈值上执行评估
通过以下方式使用公平性指标
eval_config_pbtxt = """
model_specs {
label_key: "%s"
}
metrics_specs {
metrics {
class_name: "FairnessIndicators"
config: '{ "thresholds": [0.25, 0.5, 0.75] }'
}
metrics {
class_name: "ExampleCount"
}
}
slicing_specs {}
slicing_specs {
feature_keys: "%s"
}
options {
compute_confidence_intervals { value: False }
disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)
