 在 TensorFlow.org 上查看
|
 在 Google Colab 中运行
|
 在 GitHub 上查看
|
 下载笔记本
|
 查看 TF Hub 模型
|
TensorFlow Hub (TF-Hub) 是一个平台，用于共享机器学习专业知识，这些专业知识打包在可重用资源中，特别是预训练的 **模块**。
在这个 colab 中，我们将使用一个模块，该模块将 DELF 神经网络和用于处理图像以识别关键点及其描述符的逻辑打包在一起。神经网络的权重是在地标图像上训练的，如 这篇论文 中所述。
设置
pip install scikit-image
from absl import logging
import matplotlib.pyplot as plt
import numpy as np
from PIL import Image, ImageOps
from scipy.spatial import cKDTree
from skimage.feature import plot_matches
from skimage.measure import ransac
from skimage.transform import AffineTransform
from six import BytesIO
import tensorflow as tf
import tensorflow_hub as hub
from six.moves.urllib.request import urlopen
数据
在下一个单元格中，我们将指定要使用 DELF 处理的两个图像的 URL，以便匹配和比较它们。
选择图像
下载、调整大小、保存和显示图像。
def download_and_resize(name, url, new_width=256, new_height=256):
path = tf.keras.utils.get_file(url.split('/')[-1], url)
image = Image.open(path)
image = ImageOps.fit(image, (new_width, new_height), Image.LANCZOS)
return image
image1 = download_and_resize('image_1.jpg', IMAGE_1_URL)
image2 = download_and_resize('image_2.jpg', IMAGE_2_URL)
plt.subplot(1,2,1)
plt.imshow(image1)
plt.subplot(1,2,2)
plt.imshow(image2)
Downloading data from https://upload.wikimedia.org/wikipedia/commons/2/28/Bridge_of_Sighs%2C_Oxford.jpg 7013850/7013850 ━━━━━━━━━━━━━━━━━━━━ 0s 0us/step Downloading data from https://upload.wikimedia.org/wikipedia/commons/c/c3/The_Bridge_of_Sighs_and_Sheldonian_Theatre%2C_Oxford.jpg 14164194/14164194 ━━━━━━━━━━━━━━━━━━━━ 1s 0us/step <matplotlib.image.AxesImage at 0x7f496c454c40>
将 DELF 模块应用于数据
DELF 模块将图像作为输入，并将用向量描述显著点。以下单元格包含此 colab 逻辑的核心。
delf = hub.load('https://tfhub.dev/google/delf/1').signatures['default']
2024-03-09 14:59:22.756986: E external/local_xla/xla/stream_executor/cuda/cuda_driver.cc:282] failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected
def run_delf(image):
np_image = np.array(image)
float_image = tf.image.convert_image_dtype(np_image, tf.float32)
return delf(
image=float_image,
score_threshold=tf.constant(100.0),
image_scales=tf.constant([0.25, 0.3536, 0.5, 0.7071, 1.0, 1.4142, 2.0]),
max_feature_num=tf.constant(1000))
result1 = run_delf(image1)
result2 = run_delf(image2)
使用位置和描述向量来匹配图像
此后处理和可视化不需要 TensorFlow
match_images(image1, image2, result1, result2)
Loaded image 1's 233 features Loaded image 2's 262 features Found 50 inliers
