Feature Matching

Aim

establish correspondences between images

Approaches

  1. Sparse Matching

    Classical sparse feature matching involves detecting and describing key-points in images, followed by key-point matching.

  2. Semi-Dense Matching

also known as the detector-free methods. These methods perform dense feature matching over the entire image and then select confident matches, which achieve impressive matching precision

  1. Dense Matching

    Dense matching methods output a dense warp with confidence map for the image pair.密集匹配方法可为图像对输出带有置信度图的密集翘曲图。

  2. Area to Point Matching

Challenges

减少匹配冗余，因而减少去掉冗余匹配的计算（虽然因而的半句都知道，但是说出来水字数）

Researches

MESA

MESA: Matching Everything by Segmenting Anything

pipeline

image-20240901165022987

  1. 首先用SAM分割，分割后的area需要进行预处理，对于面积小于Ts的和长宽比大于Tr的进行淘汰，剩下的存入候选集，然后对于候选集中的area，把它和最近的area进行合并，重复之前的检测， 直到没有area被淘汰。然后对每一个area进行level的判断（面积大小在哪个level的阈值内就是哪个level），这里的level是为后面的scale hierarchy做准备

  2. 建图：

    首先是node关系的判断，计算下式，Oij是两个node的重叠面积，后面是对应的长和宽，下式计算的是重叠面积占两个node最小的面积的比值

    image-20240901170844266

​ 然后进行条件判断，是包含还是邻接，或是两个node没空间关系

image-20240901171129573

​ 然后进行建图，因为SAM 本身会产生包含完整实体的区域，区域之间的包含关系很少，使用Graph Completion算法来增加，算法的核心是给每一个孤儿节点都增加双亲节点

算法实现：从最小的level开始，找所有的孤儿节点，根据他们质心的坐标cluster，同一个cluster的节点与其近邻的相应区域融合在一起，这样生成的区域containing multiple objects preserve the internal implicit semantic，并且新生成的area是一个更大level的新节点，这样再找双亲节点。对于每一个level都重复上面的操作，效果如下图

image-20240901172845511

  1. Graphical Area Matching