点云配准

点云配准是点云之间的变换估计问题，从优化的角度来看，它经历了很长的发展历史。最近，深度学习的成功极大地提高了配准的鲁棒性和效率。随着LiDAR、Kinect等高精度传感器的快速发展，点云已成为表征三维世界的主要数据格式。由于传感器只能在有限的视野范围内扫描获取数据，因此需要采用配准算法生成完整的三维场景。点云配准是一种估计两帧扫描点云之间变换矩阵的问题。根据变换矩阵，我们可以将同一个三维场景或物体的部分扫描点云合并成一个完整的三维点云。

跨源点云配准成为一个新兴的研究课题。每种三维传感器都有其独特的优点和局限性。例如，Kinect可以生成密集的点云，而测量范围通常限制为5米。激光雷达在生成稀疏点云的同时具有很长的视距。这些不同类型的三维传感器的数据融合结合了它们的优点，这是一个跨源点云配准问题[43]、[41]、[42]。跨源点云配准在建筑施工、虚拟增强现实、无人驾驶车辆等领域有着广泛的应用。例如，建筑领域将3D CAD模型与实时激光雷达扫描进行比较，以评估当前的施工质量。

1. 应用场景

• 三维重建。生成完整的三维场景是各种计算机视觉应用的基础和重要技术，包括自动驾驶中的高精度三维地图重建、机器人技术中的三维环境重建和实时监控地下采矿的三维重建。例如，点云配准可以为机器人应用中的路线规划和决策构建三维环境。另一个例子是在地下采矿空间进行大型三维场景重建，以准确监控采矿安全。
• 三维定位。在三维环境中定位移动智能设备的位置对于机器人技术尤为重要。例如，无人驾驶汽车估计其在地图上的位置（例如<10cm）及其到道路边界线的距离。点云配准可以将当前的实时三维点云精确匹配到所属的三维环境中，提供高精度的定位服务。此应用程序表明，配准为智能系统（例如机器人或无驾驶汽车）提供了一个与3D环境交互的解决方案。
• 姿态估计。将一个点云A（3D实时视图）与另一个点云B（3D环境）对齐，可以生成与点云B相对的点云A的姿态信息，这些姿态信息可用于机器人的决策。例如，可以获得机器人手臂的姿势信息，从而决定移动到哪里以准确地抓取对象。姿态估计应用表明，该配准方法还提供了一种了解环境中agent信息的方法。由于点云配准在许多有价值的计算机视觉应用中扮演着重要的角色，因此迫切需要对点云配准进行全面的研究，以使这些应用受益。

2. 相关方法

• 通过对应搜索和变换估计两个过程来减小几何投影误差。这两个过程交替进行，直到几何重投影误差最小。在已知精确对应的情况下，变换估计有一个闭环形式的解。
• 提取三维点云的特征并找到精确的对应关系。然后，使用这些对应关系来估计具有单独变换估计阶段的变换。

（a）一种基于优化的点云配准框架。给定两个输入点云，迭代估计这些点云之间的对应关系和变换。算法输出最优变换T作为最终变换矩阵。

• 对应点搜索是在另一个点云中找到每个点的匹配点。变换估计就是利用对应关系来估计变换矩阵。这两个阶段将进行迭代，以找到最佳的变换。
• 严密的数学理论可以保证它们的收敛性。
• 不需要训练数据，可以很好地推广到未知场景。
• 局限性在于，需要许多复杂的策略来克服噪声、异常值、密度变化和部分重叠的变化，这将增加计算成本。

（b）基于特征学习的点云配准框架。给定两个输入点云，利用深度神经网络对特征进行估计。然后，对应和变换估计(Ransac算法）迭代运行以估计最终变换矩阵T。

• 可以提供鲁棒、准确的对应搜索。
• 通过简单的RANSAC方法，精确的对应可以得到准确的配准结果。
• 在未知场景中，如果场景与训练数据存在较大的分布差异，则配准性能会急剧下降。

3DMatch 总体框架，3DMatch从RGBD图像训练并行网络。3DMatch的输入是三维体素数据，输出是一个局部面片的512维特征。3DMatch可以提取三维点云的局部特征。

（c）一个基于端到端学习的点云配准框架。给定两个输入点云，使用端到端框架来估计最终变换矩阵T。

• 端到端学习方法的基本思想是将配准问题转化为回归问题
• [97]提出了一种配准网络，用于建立原始点集和目标点集之间的相关性，并使用定义的相关性预测变换。
• [27]提出了一种用于定位的自动编码器配准网络，它结合了超点提取和无监督特征学习。
• 它既可以利用传统数学理论的优点，又能利用深层神经网络的优点。
• 回归方法将变换参数估计看作黑匣子，距离度量在基于坐标的欧氏空间中进行测量，该空间对噪声和密度差敏感。

（d）一个跨源点云配准框架。在给定两个输入点云的情况下，设计了一个配准框架来克服跨源问题并估计最终的变换矩阵T。

• CSGM[41]将配准问题转化为图匹配问题，并利用图匹配理论来克服这些挑战.

3. 同源点云配准

同源点云的配准是指从同一类型的传感器，但在不同的时间或视角下获取的点云在进行配准问题中存在的挑战，其主要包含了

• 噪声和离群值。在不同的采集时间，环境和传感器噪声是不同的，采集到的点云在同一三维位置附近会包含噪声和异常值。
• 部分重叠。由于视点和采集时间的不同，采集到的点云只是部分重叠。

4. 异源点云配准

跨源点云配准的挑战，点云传感器经历了快速发展。例如，Kinect已经在许多领域得到了广泛的应用。激光雷达变得使用价格合理，并已集成到移动电话（如iPhone 12）中。而且，多年来三维重建技术的发展使得利用RGB相机生成点云成为可能。尽管在点云采集方面有这些改进，但每个传感器都有其独特的优点和局限性。例如，Kinect可以记录详细的结构信息，但视距有限；Lidar可以记录远处的物体，但分辨率有限。来自不同传感器的融合点云可为实际应用提供更多的信息和更好的性能。点云融合需要跨源点云配准技术。由于点云是从不同类型的传感器获取的，并且不同类型的传感器包含不同的成像机制，因此点云配准问题中的跨源挑战要比同源点云配准挑战复杂得多。这些挑战主要可以分为

• 噪声和异常值。由于不同采集时间的采集环境、传感器噪声和传感器成像机制不同，采集到的点云在同一个三维位置附近会包含噪声和离群点。
• 部分重叠。由于视点和采集时间的不同，采集到的点云只是部分重叠。
• 密度差。由于不同的成像机制和不同的分辨率，捕获的点云通常包含不同的密度。
• 尺度变化。由于不同的成像机制可能具有不同的物理度量，因此捕获的点云可能包含尺度差异。