文本嵌入器允许将文本嵌入到高维特征向量中，该向量代表其语义含义，然后可以将其与其他文本的特征向量进行比较，以评估其语义相似性。
与 文本搜索 不同，文本嵌入器允许实时计算文本之间的相似性，而不是搜索从语料库构建的预定义索引。
使用任务库 TextEmbedder API 将您的自定义文本嵌入器部署到您的移动应用程序中。
TextEmbedder API 的主要功能
输入文本处理，包括图内或图外 Wordpiece 或 Sentencepiece 对输入文本进行分词。
内置实用程序函数，用于计算特征向量之间的 余弦相似度。
支持的文本嵌入器模型
以下模型保证与 TextEmbedder API 兼容。
来自 TensorFlow Hub 的 通用句子编码器 TFLite 模型
满足 模型兼容性要求 的自定义模型。
在 C++ 中运行推理
// Initialization.
TextEmbedderOptions options:
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<TextEmbedder> text_embedder = TextEmbedder::CreateFromOptions(options).value();
// Run inference with your two inputs, `input_text1` and `input_text2`.
const EmbeddingResult result_1 = text_embedder->Embed(input_text1);
const EmbeddingResult result_2 = text_embedder->Embed(input_text2);
// Compute cosine similarity.
double similarity = TextEmbedder::CosineSimilarity(
result_1.embeddings[0].feature_vector()
result_2.embeddings[0].feature_vector());
有关配置 TextEmbedder 的更多选项，请参阅 源代码。
在 Python 中运行推理
步骤 1：安装 TensorFlow Lite Support Pypi 包。
您可以使用以下命令安装 TensorFlow Lite Support Pypi 包
pip install tflite-support
步骤 2：使用模型
from tflite_support.task import text
# Initialization.
text_embedder = text.TextEmbedder.create_from_file(model_path)
# Run inference on two texts.
result_1 = text_embedder.embed(text_1)
result_2 = text_embedder.embed(text_2)
# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = text_embedder.cosine_similarity(
result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)
有关配置 TextEmbedder 的更多选项，请参阅 源代码。
示例结果
归一化特征向量之间的余弦相似度返回 -1 到 1 之间的分数。越高越好，即余弦相似度为 1 表示两个向量相同。
Cosine similarity: 0.954312
使用您自己的模型和测试数据试用 TextEmbedder 的简单 CLI 演示工具。
模型兼容性要求
TextEmbedder API 期望一个具有强制性 TFLite 模型元数据 的 TFLite 模型。
支持三种主要类型的模型
基于 BERT 的模型（有关更多详细信息，请参阅 源代码）
正好 3 个输入张量 (kTfLiteString)
- ID 张量，元数据名称为“ids”，
- 掩码张量，元数据名称为“mask”。
- 段 ID 张量，元数据名称为“segment_ids”
正好 1 个输出张量 (kTfLiteUInt8/kTfLiteFloat32)
- 具有
N个组件，对应于此输出层的返回特征向量的N个维度。 - 2 或 4 个维度，即
[1 x N]或[1 x 1 x 1 x N]。
- 具有
用于 Wordpiece/Sentencepiece 分词器的 input_process_units
基于通用句子编码器的模型（有关更多详细信息，请参阅 源代码）
正好 3 个输入张量 (kTfLiteString)
- 查询文本张量，元数据名称为“inp_text”。
- 响应上下文张量，元数据名称为“res_context”。
- 响应文本张量，元数据名称为“res_text”。
正好 2 个输出张量 (kTfLiteUInt8/kTfLiteFloat32)
- 查询编码张量，元数据名称为“query_encoding”。
- 响应编码张量，元数据名称为“response_encoding”。
- 两者都有
N个组件，对应于此输出层返回的特征向量的N个维度。 - 两者都具有 2 或 4 个维度，即
[1 x N]或[1 x 1 x 1 x N]。
任何具有以下特征的文本嵌入模型：
- 一个输入文本张量 (kTfLiteString)
至少一个输出嵌入张量 (kTfLiteUInt8/kTfLiteFloat32)
- 具有
N个组件，对应于此输出层的返回特征向量的N个维度。 - 2 或 4 个维度，即
[1 x N]或[1 x 1 x 1 x N]。
- 具有