神经结构化学习：使用结构化信号进行训练
神经结构化学习 (NSL) 是一种新的学习范例，除了特征输入外，还利用结构化信号来训练神经网络。结构可以是显式的，如由图表示，也可以是隐式的，如由对抗性扰动诱导。
结构化信号通常用于表示样本之间的关系或相似性，这些样本可能是标记的或未标记的。因此，在神经网络训练期间利用这些信号既利用了标记数据，也利用了未标记数据，这可以提高模型准确性，尤其是在标记数据量相对较小的情况下。此外，已证明使用通过添加对抗性扰动而生成的样本训练的模型对恶意攻击具有鲁棒性，这些攻击旨在误导模型的预测或分类。
NSL 概括为 神经图学习 以及 对抗学习。TensorFlow 中的 NSL 框架为开发者提供了以下易于使用的 API 和工具，以便使用结构化信号训练模型
- Keras API 能够使用图（显式结构）和对抗扰动（隐式结构）进行训练。
- TF 操作和函数 能够在使用较低级别的 TensorFlow API 时使用结构进行训练
- 工具 用于构建图和构造图输入以进行训练
仅在训练期间合并结构化信号。因此，服务/推理工作流的性能保持不变。可在我们的 框架描述 中找到有关神经结构化学习的更多信息。要开始使用，请参阅我们的 安装指南，如需了解 NSL 的实用介绍，请查看我们的 教程。
import tensorflow as tf
import neural_structured_learning as nsl
# Prepare data.
(x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0
# Create a base model -- sequential, functional, or subclass.
model = tf.keras.Sequential([
tf.keras.Input((28, 28), name='feature'),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(128, activation=tf.nn.relu),
tf.keras.layers.Dense(10, activation=tf.nn.softmax)
])
# Wrap the model with adversarial regularization.
adv_config = nsl.configs.make_adv_reg_config(multiplier=0.2, adv_step_size=0.05)
adv_model = nsl.keras.AdversarialRegularization(model, adv_config=adv_config)
# Compile, train, and evaluate.
adv_model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
adv_model.fit({'feature': x_train, 'label': y_train}, batch_size=32, epochs=5)
adv_model.evaluate({'feature': x_test, 'label': y_test})
