TensorBoard 入门

在机器学习中，为了改进某些东西，通常需要能够对其进行衡量。TensorBoard 是一个用于提供机器学习工作流程中所需测量和可视化的工具。它支持跟踪损失 (loss) 和准确率 (accuracy) 等实验指标、可视化模型图、将嵌入 (embeddings) 投影到低维空间等等。

本快速入门指南将展示如何快速上手 TensorBoard。本网站的其他指南提供了关于特定功能的更多详细信息，其中许多功能未包含在此处。

# Load the TensorBoard notebook extension
%load_ext tensorboard

import tensorflow as tf
import datetime

# Clear any logs from previous runs
rm -rf ./logs/

以 MNIST 数据集为例，归一化数据并编写一个函数，创建一个简单的 Keras 模型，将图像分为 10 类。

mnist = tf.keras.datasets.mnist

(x_train, y_train),(x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0

def create_model():
  return tf.keras.models.Sequential([
    tf.keras.layers.Input(shape=(28, 28), name='layers_input'),
    tf.keras.layers.Flatten(name='layers_flatten'),
    tf.keras.layers.Dense(512, activation='relu', name='layers_dense'),
    tf.keras.layers.Dropout(0.2, name='layers_dropout'),
    tf.keras.layers.Dense(10, activation='softmax', name='layers_dense_2')
  ])

Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz
11493376/11490434 [==============================] - 0s 0us/step

将 TensorBoard 与 Keras Model.fit() 配合使用

在使用 Keras 的 Model.fit() 进行训练时，添加 tf.keras.callbacks.TensorBoard 回调函数可确保创建并存储日志。此外，通过 histogram_freq=1 在每个 epoch 启用直方图计算（默认情况下此项为关闭状态）。

将日志放置在带有时间戳的子目录中，以便于选择不同的训练运行记录。

model = create_model()
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

log_dir = "logs/fit/" + datetime.datetime.now().strftime("%Y%m%d-%H%M%S")
tensorboard_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir, histogram_freq=1)

model.fit(x=x_train, 
          y=y_train, 
          epochs=5, 
          validation_data=(x_test, y_test), 
          callbacks=[tensorboard_callback])

Train on 60000 samples, validate on 10000 samples
Epoch 1/5
60000/60000 [==============================] - 15s 246us/sample - loss: 0.2217 - accuracy: 0.9343 - val_loss: 0.1019 - val_accuracy: 0.9685
Epoch 2/5
60000/60000 [==============================] - 14s 229us/sample - loss: 0.0975 - accuracy: 0.9698 - val_loss: 0.0787 - val_accuracy: 0.9758
Epoch 3/5
60000/60000 [==============================] - 14s 231us/sample - loss: 0.0718 - accuracy: 0.9771 - val_loss: 0.0698 - val_accuracy: 0.9781
Epoch 4/5
60000/60000 [==============================] - 14s 227us/sample - loss: 0.0540 - accuracy: 0.9820 - val_loss: 0.0685 - val_accuracy: 0.9795
Epoch 5/5
60000/60000 [==============================] - 14s 228us/sample - loss: 0.0433 - accuracy: 0.9862 - val_loss: 0.0623 - val_accuracy: 0.9823
<tensorflow.python.keras.callbacks.History at 0x7fc8a5ee02e8>

通过命令行或 Notebook 环境启动 TensorBoard。这两种界面的功能基本相同。在 Notebook 中，使用 %tensorboard 行魔法命令。在命令行中，运行相同的命令但不加“%”。

%tensorboard --logdir logs/fit

本示例中创建的可视化效果以及可以找到它们的数据面板（顶部导航栏中的选项卡）的简要概述。

标量 (Scalars) 显示了损失和指标随每个 epoch 的变化情况。您还可以使用它们来跟踪训练速度、学习率和其他标量值。标量可以在 Time Series（时间序列）或 Scalars（标量）面板中找到。
图 (Graphs) 帮助您可视化模型。在本例中，显示了 Keras 层图，这有助于确保模型构建正确。图可以在 Graphs（图）面板中找到。
直方图 (Histograms) 和 分布 (Distributions) 显示了 Tensor 随时间的分布情况。这对于可视化权重和偏差，并验证它们是否按预期变化非常有用。直方图可以在 Time Series（时间序列）或 Histograms（直方图）面板中找到。分布可以在 Distributions（分布）面板中找到。

当您记录其他类型的数据时，额外的 TensorBoard 面板会自动启用。例如，Keras TensorBoard 回调函数还允许您记录图像和嵌入。通过点击右上角的“inactive”（未激活）下拉菜单，您可以查看 TensorBoard 中还有哪些其他面板可用。

将 TensorBoard 与其他方法配合使用

当使用诸如 tf.GradientTape() 的方法进行训练时，请使用 tf.summary 来记录所需的信息。

使用与上述相同的数据集，但将其转换为 tf.data.Dataset 以利用批处理功能。

train_dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train))
test_dataset = tf.data.Dataset.from_tensor_slices((x_test, y_test))

train_dataset = train_dataset.shuffle(60000).batch(64)
test_dataset = test_dataset.batch(64)

训练代码遵循高级快速入门教程，但展示了如何将指标记录到 TensorBoard。选择损失函数和优化器。

loss_object = tf.keras.losses.SparseCategoricalCrossentropy()
optimizer = tf.keras.optimizers.Adam()

创建有状态的指标，这些指标可用于在训练期间累积值并随时记录。

# Define our metrics
train_loss = tf.keras.metrics.Mean('train_loss', dtype=tf.float32)
train_accuracy = tf.keras.metrics.SparseCategoricalAccuracy('train_accuracy')
test_loss = tf.keras.metrics.Mean('test_loss', dtype=tf.float32)
test_accuracy = tf.keras.metrics.SparseCategoricalAccuracy('test_accuracy')

定义训练和测试函数。

def train_step(model, optimizer, x_train, y_train):
  with tf.GradientTape() as tape:
    predictions = model(x_train, training=True)
    loss = loss_object(y_train, predictions)
  grads = tape.gradient(loss, model.trainable_variables)
  optimizer.apply_gradients(zip(grads, model.trainable_variables))

  train_loss(loss)
  train_accuracy(y_train, predictions)

def test_step(model, x_test, y_test):
  predictions = model(x_test)
  loss = loss_object(y_test, predictions)

  test_loss(loss)
  test_accuracy(y_test, predictions)

设置摘要写入器 (summary writers)，将摘要写入磁盘中的不同日志目录。

current_time = datetime.datetime.now().strftime("%Y%m%d-%H%M%S")
train_log_dir = 'logs/gradient_tape/' + current_time + '/train'
test_log_dir = 'logs/gradient_tape/' + current_time + '/test'
train_summary_writer = tf.summary.create_file_writer(train_log_dir)
test_summary_writer = tf.summary.create_file_writer(test_log_dir)

开始训练。在摘要写入器的作用域内，使用 tf.summary.scalar() 在训练/测试期间记录指标（损失和准确率），以便将摘要写入磁盘。您可以控制记录哪些指标以及记录的频率。其他 tf.summary 函数支持记录其他类型的数据。

model = create_model() # reset our model

EPOCHS = 5

for epoch in range(EPOCHS):
  for (x_train, y_train) in train_dataset:
    train_step(model, optimizer, x_train, y_train)
  with train_summary_writer.as_default():
    tf.summary.scalar('loss', train_loss.result(), step=epoch)
    tf.summary.scalar('accuracy', train_accuracy.result(), step=epoch)

  for (x_test, y_test) in test_dataset:
    test_step(model, x_test, y_test)
  with test_summary_writer.as_default():
    tf.summary.scalar('loss', test_loss.result(), step=epoch)
    tf.summary.scalar('accuracy', test_accuracy.result(), step=epoch)

  template = 'Epoch {}, Loss: {}, Accuracy: {}, Test Loss: {}, Test Accuracy: {}'
  print (template.format(epoch+1,
                         train_loss.result(), 
                         train_accuracy.result()*100,
                         test_loss.result(), 
                         test_accuracy.result()*100))

  # Reset metrics every epoch
  train_loss.reset_state()
  test_loss.reset_state()
  train_accuracy.reset_state()
  test_accuracy.reset_state()

Epoch 1, Loss: 0.24321186542510986, Accuracy: 92.84333801269531, Test Loss: 0.13006582856178284, Test Accuracy: 95.9000015258789
Epoch 2, Loss: 0.10446818172931671, Accuracy: 96.84833526611328, Test Loss: 0.08867532759904861, Test Accuracy: 97.1199951171875
Epoch 3, Loss: 0.07096975296735764, Accuracy: 97.80166625976562, Test Loss: 0.07875105738639832, Test Accuracy: 97.48999786376953
Epoch 4, Loss: 0.05380449816584587, Accuracy: 98.34166717529297, Test Loss: 0.07712937891483307, Test Accuracy: 97.56999969482422
Epoch 5, Loss: 0.041443776339292526, Accuracy: 98.71833038330078, Test Loss: 0.07514958828687668, Test Accuracy: 97.5

再次打开 TensorBoard，这次将其指向新的日志目录。我们也可以在训练进行的同时启动 TensorBoard 来监控训练过程。

%tensorboard --logdir logs/gradient_tape

就是这样！现在您已经了解了如何通过 Keras 回调函数以及对于更自定义的场景通过 tf.summary 来使用 TensorBoard。

TensorBoard 入门 使用收藏功能保持井然有序 根据您的偏好保存和分类内容。

将 TensorBoard 与 Keras Model.fit() 配合使用

将 TensorBoard 与其他方法配合使用

TensorBoard 入门