SuperGlue/SuperPoint

SuperGlue和SuperPoint是两个用于图像特征检测和匹配的深度学习模型。它们通常用于计算两张图像之间的点对点对应关系（correspondence）。

SuperPoint

SuperPoint是一个端到端的神经网络，用于检测和描述图像中的关键点。它的主要步骤包括：

  1. 特征检测：网络从图像中检测出一组关键点。
  2. 特征描述：为每个关键点生成一个描述符，用于后续的匹配。

SuperPoint的优势在于它能够在不同的图像中找到稳定且一致的关键点，并生成高质量的描述符。

SuperGlue

SuperGlue是一个基于图神经网络（Graph Neural Network, GNN）的模型，用于匹配两张图像中的关键点。它的主要步骤包括：

  1. 特征提取：从两张图像中提取关键点及其描述符（通常使用SuperPoint）。
  2. 图构建：将关键点及其描述符构建成图结构。
  3. 图匹配：使用图神经网络在两个图之间进行匹配，找到最佳的点对点对应关系。

SuperGlue的优势在于它能够利用图神经网络的强大能力，考虑到关键点之间的关系，从而生成更准确和鲁棒的匹配结果。

为什么可以这么做

  1. 鲁棒性：SuperPoint和SuperGlue结合使用，可以在不同视角、光照条件下找到稳定的关键点和对应关系。
  2. 准确性：SuperGlue利用图神经网络的能力，能够生成更准确的匹配结果。
  3. 端到端训练：这些模型可以端到端训练，从而优化整个匹配过程。

怎么做的

  1. 特征检测和描述：使用SuperPoint从两张图像中提取关键点及其描述符。
  2. 图构建和匹配：使用SuperGlue将关键点及其描述符构建成图结构，并在两个图之间进行匹配。
  3. 生成对应关系：输出两张图像之间的点对点对应关系。

通过这种方式，可以有效地找到两张图像之间的对应关系，应用于视觉里程计、SLAM、3D重建等领域。