公平性指标 (Fairness Indicators)
“公平性指标”(Fairness Indicators) 是一个易于使用的库，用于计算二元和多类分类器中常用的公平性指标。借助“公平性指标”工具套件，您可以：
- 计算分类模型中常用的公平性指标
- 将不同子组的模型性能与基准或其他模型进行比较
- 使用置信区间来识别具有统计学意义的差异
- 在多个阈值下执行评估
通过以下方式使用“公平性指标”：
eval_config_pbtxt = """
model_specs {
label_key: "%s"
}
metrics_specs {
metrics {
class_name: "FairnessIndicators"
config: '{ "thresholds": [0.25, 0.5, 0.75] }'
}
metrics {
class_name: "ExampleCount"
}
}
slicing_specs {}
slicing_specs {
feature_keys: "%s"
}
options {
compute_confidence_intervals { value: False }
disabled_outputs{values: "analysis"}
}
""" % (LABEL_KEY, GROUP_KEY)
