了解如何使用 TensorFlow 将“负责任的 AI”实践整合到您的机器学习工作流程中

TensorFlow 致力于通过与机器学习社区分享一系列资源和工具,推动负责任的 AI 开发进程。

什么是负责任的 AI?

AI 的发展正在创造新的机遇,以解决具有挑战性的现实世界问题。同时,它也对如何构建惠及所有人的 AI 系统提出了新的问题。

设计 AI 系统时,应遵循软件开发最佳实践,并采取以人为本的
机器学习方法

公平性

随着 AI 对各行各业和社会的影响日益扩大,致力于构建公平且包容所有人的系统至关重要。

可解释性

理解并信任 AI 系统,对于确保它们按预期工作非常重要。

隐私

使用敏感数据训练模型时,需要保护隐私的安全措施。

安全性

识别潜在威胁有助于保持 AI 系统的安全可靠。

机器学习工作流程中的负责任的 AI

“负责任的 AI”实践可以融入到机器学习工作流程的每一个步骤中。以下是每个阶段需要考虑的一些关键问题。

我的机器学习系统是为谁服务的?

真实用户体验您系统的方式,对于评估其预测、建议和决策的实际影响至关重要。请确保在开发过程的早期阶段就征求不同类型用户的意见。

我使用的数据集具有代表性吗?

您的数据采样是否足以代表您的用户(例如,产品面向全年龄段用户,但您只有老年人的训练数据)和现实场景(例如,全年使用,但您只有夏季的训练数据)?

我的数据中是否存在现实世界/人类偏见?

数据中隐含的偏见可能会导致复杂的反馈循环,从而强化现有的刻板印象。

我应该使用什么方法来训练模型?

使用能将公平性、可解释性、隐私和安全性融入模型本身的训练方法。

我的模型表现如何?

在广泛的用户、用例和使用场景中,评估真实世界中的用户体验。首先通过内部测试(dogfooding)进行测试和迭代,并在发布后持续跟进。

是否存在复杂的反馈循环?

即使整体系统设计经过深思熟虑,基于机器学习的模型在应用于真实、实时的动态数据时,也极少能达到 100% 的完美。当在线产品出现问题时,应考虑它是否与现有的社会不公现象有关,并评估短期和长期解决方案将如何对其产生影响。

TensorFlow 的负责任 AI 工具

TensorFlow 生态系统提供了一套工具和资源,旨在帮助解决上述问题。

第一步

定义问题

使用以下资源,在设计模型时充分考虑“负责任的 AI”。

People + AI Research (PAIR) 指南

了解更多关于 AI 开发过程和关键注意事项的信息。

PAIR 可视化探索工具 (Explorables)

通过交互式可视化,探索“负责任的 AI”领域的关键问题和概念。

第二步

构建和准备数据

使用以下工具检查数据是否存在潜在偏见。

Know Your Data (Beta)

以交互方式调查您的数据集,以提高数据质量并减轻公平性和偏见问题。

TF Data Validation

分析和转换数据以检测问题,并设计更有效的特征集。

数据卡片 (Data Cards)

为您的数据集创建透明度报告。

Monk 肤色量表 (MST)

一种更具包容性的肤色量表,采用开放许可,旨在使您的数据收集和模型构建需求更具鲁棒性和包容性。

第三步

构建和训练模型

使用以下工具,利用隐私保护、可解释技术等方式来训练模型。

TF Model Remediation

训练机器学习模型以促进更公平的结果。

TF Privacy

在保护隐私的前提下训练机器学习模型。

TF Federated

使用联邦学习技术训练机器学习模型。

TF Constrained Optimization

优化具有不平等约束的问题。

TF Lattice

实现灵活、可控且可解释的基于晶格(lattice-based)的模型。

第四步

评估模型

使用以下工具调试、评估和可视化模型性能。

公平性指标 (Fairness Indicators)

评估二分类和多分类模型中常用的公平性指标。

TF Model Analysis

以分布式方式评估模型,并针对不同的数据切片进行计算。

What-If Tool

检查、评估和比较机器学习模型。

Language Interpretability Tool (LIT)

可视化并理解 NLP 模型。

Explainable AI (可解释 AI)

开发可解释且具有包容性的机器学习模型。

TF Privacy Tests

评估分类模型的隐私属性。

TensorBoard

衡量并可视化机器学习工作流程。

第五步

部署和监控

使用以下工具跟踪和交流模型背景及细节。

模型卡片工具包 (Model Card Toolkit)

使用模型卡片 (Model Card) 工具包轻松生成模型卡片。

ML Metadata

记录并检索机器学习开发者和数据科学家工作流程中相关的元数据。

模型卡片 (Model Cards)

以结构化的方式整理机器学习的核心事实。

社区资源

了解社区正在做什么,并探索参与其中的途径。

Crowdsource by Google

帮助 Google 的产品变得更具包容性,更能代表您的语言、地区和文化。

负责任的 AI DevPost 挑战赛

我们邀请参赛者使用 TensorFlow 2.2 构建模型或应用程序,并贯彻“负责任的 AI”原则。查看画廊以了解获奖作品和其他令人惊叹的项目。

使用 TensorFlow 实现负责任的 AI (TF Dev Summit '20)

介绍一个关于思考机器学习、公平性和隐私问题的框架。