ExampleValidator TFX 管道组件

ExampleValidator 管道组件识别训练和服务数据中的异常。它可以检测数据中的不同类别异常。例如,它可以

  1. 通过将数据统计信息与编码用户期望的模式进行比较来执行有效性检查。
  2. 通过比较训练数据和服务数据来检测训练-服务偏差。
  3. 通过查看一系列数据来检测数据漂移。
  4. 执行 自定义验证,使用基于 SQL 的配置。

ExampleValidator 管道组件通过将 StatisticsGen 管道组件计算的数据统计信息与模式进行比较来识别示例数据中的任何异常。推断的模式编码了输入数据应满足的属性,并且可以由开发人员修改。

  • 使用:来自 SchemaGen 组件的模式,以及来自 StatisticsGen 组件的统计信息。
  • 发出:验证结果

ExampleValidator 和 TensorFlow 数据验证

ExampleValidator 广泛使用 TensorFlow 数据验证 来验证您的输入数据。

使用 ExampleValidator 组件

ExampleValidator 管道组件通常非常易于部署,并且需要很少的自定义。典型的代码如下所示

validate_stats = ExampleValidator(
      statistics=statistics_gen.outputs['statistics'],
      schema=schema_gen.outputs['schema']
      )

更多详细信息可在 ExampleValidator API 参考 中找到。