集成 BERT 问答器

任务库 BertQuestionAnswerer API 加载 Bert 模型并根据给定段落的內容回答问题。有关更多信息，请参阅问答模型的文档 此处。

BertQuestionAnswerer API 的主要功能

  • 将两个文本输入作为问题和上下文，并输出可能的答案列表。

  • 对输入文本执行图外 Wordpiece 或 Sentencepiece 分词。

支持的 BertQuestionAnswerer 模型

以下模型与 BertNLClassifier API 兼容。

在 Java 中运行推理

步骤 1：导入 Gradle 依赖项和其他设置

将 .tflite 模型文件复制到将运行模型的 Android 模块的 assets 目录。指定该文件不应压缩，并将 TensorFlow Lite 库添加到模块的 build.gradle 文件中

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Text Library dependency (NNAPI is included)
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
}

步骤 2：使用 API 运行推理

// Initialization
BertQuestionAnswererOptions options =
    BertQuestionAnswererOptions.builder()
        .setBaseOptions(BaseOptions.builder().setNumThreads(4).build())
        .build();
BertQuestionAnswerer answerer =
    BertQuestionAnswerer.createFromFileAndOptions(
        androidContext, modelFile, options);

// Run inference
List<QaAnswer> answers = answerer.answer(contextOfTheQuestion, questionToAsk);

有关更多详细信息，请参阅 源代码。

在 Swift 中运行推理

步骤 1：导入 CocoaPods

在 Podfile 中添加 TensorFlowLiteTaskText pod

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

步骤 2：使用 API 运行推理

// Initialization
let mobileBertAnswerer = TFLBertQuestionAnswerer.questionAnswerer(
      modelPath: mobileBertModelPath)

// Run inference
let answers = mobileBertAnswerer.answer(
      context: context, question: question)

有关更多详细信息，请参阅 源代码。

在 C++ 中运行推理

// Initialization
BertQuestionAnswererOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<BertQuestionAnswerer> answerer = BertQuestionAnswerer::CreateFromOptions(options).value();

// Run inference with your inputs, `context_of_question` and `question_to_ask`.
std::vector<QaAnswer> positive_results = answerer->Answer(context_of_question, question_to_ask);

有关更多详细信息，请参阅 源代码。

在 Python 中运行推理

步骤 1：安装 pip 包

pip install tflite-support

步骤 2：使用模型

# Imports
from tflite_support.task import text

# Initialization
answerer = text.BertQuestionAnswerer.create_from_file(model_path)

# Run inference
bert_qa_result = answerer.answer(context, question)

有关配置 BertQuestionAnswerer 的更多选项，请参阅 源代码。

示例结果

以下是 ALBERT 模型 的答案结果示例。

上下文："亚马逊雨林，或者说亚马逊丛林，在英语中也称为亚马逊地区，是亚马逊生物群落中一个潮湿的阔叶热带雨林，覆盖了南美洲大部分的亚马逊盆地。该盆地占地 7,000,000 平方公里（2,700,000 平方英里），其中 5,500,000 平方公里（2,100,000 平方英里）被雨林覆盖。该地区包括属于九个国家的领土。"

问题："亚马逊雨林在哪里？"

答案

answer[0]:  'South America.'
logit: 1.84847, start_index: 39, end_index: 40
answer[1]:  'most of the Amazon basin of South America.'
logit: 1.2921, start_index: 34, end_index: 40
answer[2]:  'the Amazon basin of South America.'
logit: -0.0959535, start_index: 36, end_index: 40
answer[3]:  'the Amazon biome that covers most of the Amazon basin of South America.'
logit: -0.498558, start_index: 28, end_index: 40
answer[4]:  'Amazon basin of South America.'
logit: -0.774266, start_index: 37, end_index: 40

使用您自己的模型和测试数据尝试使用简单的 BertQuestionAnswerer 的 CLI 演示工具。

模型兼容性要求

BertQuestionAnswerer API 期望 TFLite 模型具有强制性的 TFLite 模型元数据。

元数据应满足以下要求

  • input_process_units 用于 Wordpiece/Sentencepiece 分词器

  • 3 个输入张量，名称分别为 "ids"、"mask" 和 "segment_ids"，用于分词器的输出

  • 2 个输出张量，名称分别为 "end_logits" 和 "start_logits"，用于指示答案在上下文中的相对位置