自进入数字地球时代以来，智慧城市的建设工作一直是推动其发展的关键，而三维点云数据的快速获取则是智慧城市建设的关键一环。

　　目前，三维点云数据主要通过激光雷达（light detection and ranging，LiDAR）技术和影像密集匹配技术来获取。前者虽然可以在短时间内快速获取到数以百万计的地物点三维坐标并得到相应的三维点云模型[1-2]，但相对于获取成本低、效率高、纹理信息丰富、空间分辨率高、测绘范围大、人工交互少[3]的影像密集匹配技术，依然存在一些不足[4-6]，因而后者受到了摄影测量与遥感界的广泛关注。

　　自20世纪50年代起，基于航摄影像的匹配算法被提出后，越来越多的学者开始致力于影像的稀疏匹配方法研究。直到20世纪90年代，随着具有生成数字表面模型和数字地形模型功能的摄影测量商业软件的出现[1]，人们纷纷着手于密集匹配算法的研究。密集匹配技术在计算机视觉领域也被称为立体匹配技术，在其数十年的发展中，已有许多文献对其算法进行了归类对比分析[1, 7-11]，美国明德学院的Scharstein和Szeliski还创建了广受关注的计算机视觉评测网站[12]，不仅提供了一系列权威的测试数据，还提供了量化误差的算法测试平台，只需要将匹配结果提交到平台就可以获得权威的性能分析并参与算法排名。该网站自2001年开放以来，已公布了430多种影像密集匹配算法，图 1为Middlebury网站公布的各年度密集匹配算法数量（统计时间截至2022-11-20）。通过分析不难发现：

　　1）双目影像的密集匹配算法数量呈逐年上升趋势。这表明双目影像的密集匹配问题正在被越来越多的学者所关注，同时也说明双目影像的密集匹配技术依然是一个热点研究问题。

　　2）多视影像密集匹配算法的年度数量明显偏少，自2014年开始逐年下降。多视密集匹配中的多角度影像可以有效改善遮挡区域的匹配效果，特别是近些年发展起来的倾斜摄影测量技术[13]，融合了传统的航空摄影测量技术和近景摄影测量技术[14]。现有的多视密集匹配模型主要划分为两类：基于多视的匹配模型及基于多视立体融合的匹配模型[15]。前者同时考虑多条交会光线以获得更为精确稳健的匹配结果，匹配模型较为复杂，且大部分方法匹配效率较低[16]，并不适合于大范围的影像匹配，更多的此类匹配模型方法介绍可参见文献[17-18]；后者则是将多视密集匹配视为以单个立体像对（双目影像对）为匹配单元的多个立体像对的匹配结果融合问题，该类模型可以通过粗差剔除的方法更有效地改善遮挡区的匹配精度，效率更高、操作简便、易于并行加速，适用于大范围的影像匹配，其核心仍然是双目密集匹配技术。因此，相比于多视影像密集匹配，双目影像的密集匹配更为重要，是更为常用的密集匹配方法，这也是本文着重对双目密集匹配进行综合论述的初衷之一。

　　近年来，具有相当热度的基于深度学习的密集匹配方法大体上可以分为分布式方法和端到端的方法[11]，后者为当前主流算法。然而，分布式方法对于弱纹理、视差不连续区域以及遮挡区域的匹配效果并不理想，端到端方法则需要较高的计算机内存消耗。

　　基于深度学习的方法虽然在常规区域可以获得更优的匹配效果，但对于弱纹理、视差不连续以及遮挡区域的匹配效果仍然存在劣势，多数的方法受限于训练标签，文献[19]详细分析了基于深度学习的影像密集匹配算法，此处不再赘述。

　　本文通过对现有的双目影像密集匹配算法进行综合分析，着重对传统的密集匹配算法进行总结，以期能系统地阐述影像密集匹配技术的发展现状。

　　本文首先对密集匹配算法的匹配过程进行了梳理，按照局部密集匹配与全局密集匹配对双目密集匹配算法进行了系统的分类概述，并指出各类算法的优缺点；然后对摄影测量中的密集匹配技术进行讨论，对比分析了摄影测量场景与计算机视觉场景之间的差异，同时对影像遮挡机理进行了剖析，详细阐述了遮挡检测与遮挡填充的处理方法，为解决密集匹配的空洞问题奠定了理论基础；最后着重阐述了笔者对双目密集匹配方法发展趋势的展望。

　　双目密集匹配即从一个立体像对的二维影像数据信息中提取并恢复对应物体的三维空间信息。现有的双目密集匹配算法依据同名点搜索空间的不同可分为基于像方空间的密集匹配算法和基于物方空间的密集匹配算法[20]。

　　基于像方空间的双目密集匹配算法通常采用水平核线影像作为输入影像，又称为单基线密集匹配算法，是一种常用的匹配算法，其核线影像包括框幅式影像的核线影像和线阵推扫式影像的核线影像。

　　前者是从航空摄影测量和地面摄影测量中经常使用的中心投影影像所获得的核线影像，其核线模型基本分为两种，基于数字影像的几何纠正模型和基于共面条件的模型。其中，基于数字影像几何纠正的核线纠正模型更为简单常用；线阵推扫式影像的核线影像多为从卫星遥感影像所获得的核线影像，其核线模型也分为两种，基于多项式拟合的核线模型和基于投影轨迹法的核线]。基于投影轨迹法的核线模型因其具有更加严密的理论而被广泛使用[22-23]。单基线密集匹配算法通过核线约束对左右影像进行逐像素的匹配，并利用三角测量原理计算立体像对的视差值，最终将视差转换为物方三维坐标，即获得2D影像点的3D地面坐标（详见图 2）。

　　、视差计算与精化以及物方三维坐标计算[7]。匹配代价计算是以左核线影像为参考影像、右核线影像为目标影像，在指定的视差搜索范围

　　的所有初始视差值中，选择最小的代价值作为最佳视差，剔除错误视差，同时检测并修复无效视差[26]；物方三维坐标计算是在已知影像内外方位元素的前提下，利用视差值求解目标点坐标，即首先根据已知的相机内方位元素与视差值

　　基于物方空间的密集匹配是在基于像方空间密集匹配算法之后发展起来的算法，即将密集匹配算法从像方空间转至物方空间。通常直接以地面高程方向或影像视线方向为同名点搜索方向，并将指定的物方面元反投影至影像中，以影像中投影面元之间的相似性来确定物方点。现有的基于物方空间密集匹配算法多是在铅垂线轨迹法（vertical line locus，VLL）的基础上发展起来的。本文以VLL算法为例对基于物方空间的双目密集匹配过程进行介绍。图 3展示了VLL原理，假定在物方有一条铅垂线轨迹，其对应影像上的投影也是一条直线中的红色虚线），沿此铅垂线方向搜索地面目标点

　　的高程。具体步骤如下：首先给定目标点P的平面坐标以及近似最低高程，并根据精度需求确定高程搜索步距

　　基于物方的密集匹配算法实质依然是基于影像的几何定向参数对同名像点进行反复前方交会，从而获取物方点的过程[16]。由于基于物方空间的密集匹配算法可以同时处理多幅影像，这种方法多被用于多视影像的密集匹配中[28]，如常见的GC3（geometrically constrained cross-correlation）[29]及其改进模型AMMGC（adaptive multi-image matching with geometric constraints）[30]、MVLL（modified vertical line locus）[31]、SGVLL（sem-global vertical line locus）[32]等。 双目密集匹配当前采用的多是基于像方空间的双目密集匹配算法，依据其是否隐式地使用了光滑假设而被区分为局部密集匹配和全局密集匹配两种[7]。具体说来，在匹配算法中使用了代价聚合和视差确定组合的为局部密集匹配方法，使用了能量函数优化的为全局密集匹配方法。

　　利用各个像素的邻域信息求解对应视差的局部密集匹配算法又被称为基于窗口的密集匹配算法[33]，此类算法包含以上双目密集匹配算法完整的步骤且在代价聚合阶段隐式地使用了光滑假设约束。对于局部密集匹配算法而言，在匹配代价聚合时，选择适当的匹配窗口是决定匹配精度的关键。 早期使用的单一固定窗口法因限制了窗口的尺寸大小，使其易在对象边界处发生重叠，从而错误地聚合了不同区域的匹配代价，导致地物边缘粗化模糊[34]，使其在深度不连续处、弱纹理区域以及重复纹理区域具有较高的误匹配率。为此，基于窗口的密集匹配方法逐渐衍生为自适应窗口法、自适应权重法以及非前向平行算法等。

　　局部密集匹配所选择的窗口大小既要足够大，以包括足够的强度变化，又要足够小，以避免因覆盖对应场景点深度（即视差）变化的整个区域而引起的失线]，因而演化出了可以根据局部强度和视差变化而自适应地选择窗口的自适应窗口法。主要是依据局部区域的像素颜色、空间距离、纹理熵等属性特征的相关性来改变聚合窗口的大小、形状、位置和数量，从而提高视差图的精度。将现今较为常用的具有代表性的自适应窗口法概括为单窗口算法与多窗口算法，算法的简要描述和存在的优缺点具体见表 1。

　　1）最早兴起的自适应矩形单窗口法多是基于积分图像与四象限掩模等技术通过改变矩形窗口的大小或长宽比例来减少位于不正确深度区域的不良像素数量，提高准确率。相比于固定窗口法，其具有更高的匹配精度，但却要高度依赖于初始视差的估计，并且矩形窗口并不适合于接近具有任意形状的深度不连续区。因而该类方法在视差边缘处具有相对较低的准确度。

　　2）自适应形状单窗口算法多是基于各向异性局部多项式逼近技术或是通过局部属性构建直立交叉局部支持骨架等方式来构建自适应形状窗口。相较于自适应矩形单窗口法，这种方法的窗口形状自适应能力有了较大的提高，以至于在深度不连续区域的匹配准确度得到了较大的提升，但窗口形状或是模型的通用性仍然不高，很多算法需要特定的参数甚至是需要在特定的条件下才能得以实现。

　　3）自适应多窗口算法通常是结合多个单窗口来匹配相对复杂的图像区域，相比于自适应单窗口法，这类方法在低纹理区域以及边缘区域的匹配准确度有了更大的提升，具有更广泛的适用性。但因其较高的计算复杂度，需要很高的计算成本，匹配效率有所降低。 近年来，为提高自适应窗口算法的运算速率、加强匹配的时效性，很多基于现场可编程门阵列（field programmable gate array，FPGA）或图形处理器（graphics processing unit，GPU硬件加速的局部方法开始流行[51]。其中，FPGA开发的灵活性以及对高速信号处理的优越性，使其成为了近些年数字系统开发的核心部件；GPU技术利用硬件的并行计算能力，将算法设计为高度并行，同时使用多个计算核心进行算法运算，具有明显的加速效果[52]。

　　自适应权重法是推动局部密集匹配算法发展的关键。自2006年Yoon等[53]首次提出可以在匹配质量与全局匹配算法相媲美的局部匹配方法后，局部匹配算法再次被推向密集匹配研究的。这种方法大多是依据局部区域的像素颜色、空间距离、甚至是梯度等属性特征的相似度来分配匹配窗口内原始代价的权值，权值计算方式是实现该类方法的关键。基于不同的权重值主函。

竞博job
上一篇：2021 年笔记本电脑推荐性价比排行榜（覆盖轻薄本 下一篇：荣耀MagicBook Pro 16笔记本评测：荣