DOI: https://doi.org/10.1016/j.ymssp.2023.110452
无论对于城市综合防灾减灾还是数字孪生城市，获得准确的建筑结构振动数据都非常重要。但安装专用传感器来监测建筑结构振动时，较耗财耗时耗力，且难以获得高分辨率振动数据。而现代城市里的视频监控设备为获取高分辨率结构振动数据提供了新的解决途径。
现在主流的基于机器视觉结构振动识别方法，大多基于特征点算法，但是，通过这类算法从视频设备中获取结构振动数据面临着三个重要挑战：
由于像素分辨率的限制、光照变化以及待测ROI (Region of Interest)大小的限制，可能会产生异常特征点，导致难以检测到准确的特征点;
在所选择的ROI中，在不同的空间位置，结构特征点的运动可能不统一，这会造成点追踪识别过程中出现的空间点发散问题；
最重要的是，在运动识别过程中，由于采集图像固有噪声以及环境因素产生的噪声影响，类似主流的无靶标算法如KLT (Kanade–Lucas–Tomasi)算法等，在时间步进迭代时产生误差时间漂移问题，即随着时间变长，误差逐渐变大。
本文所提方法的技术路线主要包括特征点增强、网格多路径建模以及时间空间优化，如图1所示。
图1 本文所提方法的技术路线
特征点增强是对结构健康监测过程中记录的图像中的噪声进行过滤，同时对图像边缘、对比度、清晰度等比较明显的区域的特征点进行增强。这一步是通过调整高斯范围核的中心和宽度在像素之间的变化，以及去噪时的空间核来实现的。然后通过多项式拟合和递归积分进行计算，最后通过KLT跟踪器检测特征点。有兴趣的老师同学可以移步论文去看相关推导。
网格多路径建模是为了避免特征点的运动随空间位置的不同而变化的影响。在这一步中，每个ROI被划分为多个网格单元。在每个网格单元中，匹配的特征被建模为四个顶点的双线性插值。此外，使用形状保持约束来增强相邻网格单元的空间一致性，然后从每个网格单元独立计算局部单应矩阵。网格多路径建模流程图如图2所示。
图2 网格多路径建模流程图：(a)特征点到四个顶点的投影，(b)形状保持约束
时间空间优化是增强由上述建模计算出的局部单应性矩阵的时空相关性。这主要通过优化两个项：第一个是数据项，使得新的单应性矩阵与原始单应性矩阵相似；第二个是平滑项，用于稳定单应矩阵，保持剧烈变化的运动，并使得新的单应矩阵与临近时间的单应性矩阵相似。最终通过对所有网格单元的单应性矩阵求平均值，来获得包含摄像机运动的单应性矩阵。优化过程主要通过最小化以下公式进行
具体的公式主要通过简单的雅克比矩阵方法求解，有兴趣的老师同学请移步论文看具体的推导及求解过程。
本文首先使用特征点增强进行了图像去噪和静态位移测试，并与传统的高斯滤波器进行对比，由于篇幅限制，就不展示图像去噪的效果，只展示静态位移测试的结果。测试的图像对象为房屋和吊车图像，这两张图像分别被施加10个像素点的静态平移和10的静态旋转，然后这些图像分别通过高斯滤波器和特征点增强算法进行去噪，最终使用KLT算法来分别估计静态旋转和静态位移(由于这里是静态位移，可以忽略时间漂移问题)。估计的结果如表1和表2所示，可以看出，由特征点增强算法计算出来的结果最为接近10个像素点和10度。
然后本文算法的精确度在朴次茅斯桥进行验证，大桥结构如图3所示。对该大桥分别施加了幅度为2.5像素点的正弦波和Taka地震波。根据红色ROI计算出来的结果如图4所示(注明：为满足小位移限制，KLT需要每帧与前帧视频图像数据比较，然后时间上逐帧累加。但审稿人说我们满足小位移要求，可以换成每帧与第一帧视频图像的数据进行比较。为了说明时间漂移问题，在本文中，还是将原始KLT算出来的数据展示在下面)，可以看出当ROI 过小时候，SIFT，SURF，KAZE等算法捕捉不到足够特征点来求解单应性矩阵。原始的KLT算法 会出现时间上的误差累积，即时间漂移问题，换成每帧与第一帧视频图像数据比较时候，虽然时间漂移消失，但在峰值出现时候也会出现漂移，不同的是这种漂移是瞬时的，并未随着时间累积。当换成黄色ROI，结果如图5所示，虽然SIFT，SURF，KAZE等算法可以捕捉到足够特征点来求解单应性矩阵，但都出现了空间点发散问题，因为这个区域还是较小，捕捉到的特征点还不够准确。另外，在黄色ROI中，KLT算法仍然出现时间漂移问题。不同于传统方法，无论在哪个ROI，本文提出的方法都能较好地逼近真实值。
图3 大桥视频的一帧图像: (a)大桥的全貌，(b)大桥的左跨度
最后算法应用于5层石幕墙结构的振动台试验，测试结构和相机的整体布局如图6所示。相机与振动台在x和y方向上的距离都为3000mm。在测试中，加载的地震波是人工波，人工波的峰值加速度分别为0.20g，在x方向上加载。相应的加速度计架设于四层半与五层，用于与视觉计算结果做对比。计算对比如图7所示，其中，五层的计算结果在左侧，四层的计算结果在右侧。由结果可知，类似于朴次茅斯桥的计算结果，由于相应ROI较小，SIFT，SURF，KAZE等算法都出现了空间点发散问题。原始的KLT算法 会出现时间漂移问题，换成每帧与第一帧视频图像数据比较时候，虽然时间漂移消失，但在峰值运动出现时候，也会出现漂移。不同于传统方法，无论在哪个ROI，本文提出的方法都能较好地逼近真实值。另外，利用这些估计的位移结果，我们使用NExT-ERA进一步估计了模态信息，结果如表3所示，可以看到，本文所提方法也能得到最精确的模态信息。
本文提出了一种新的无靶标机器视觉结构运动估计方法，能以亚像素精度自适应地估计建筑结构的振动信息。在所提出的方法中，捕捉到的特征点被增强，然后通过网格划分在图像空间里建模为多路径运动信息，并且空间和时间的关联性都得到了优化。主要结论如下：
1）与传统的高斯核滤波器相比，特征增强的步骤可以在过滤噪声的同时较好保留特征点。
2）在估计桥梁的摄像运动时，与传统方法相比，所提出的方法可达到最准确的结果，精度为0.1像素。
3）在实际的振动台试验中，与传统方法相比，即使有环境误差，用本文方法估计的石墙结构运动仍能与参考数据相当接近，精度可达到0.25像素，并能较好地估计模态信息。
另外，本质上KLT等算法的时间漂移问题，与我们平时通过加速度传感器二次积分得到建筑结构振动时出现的时间漂移问题非常类似。有兴趣的老师同学可以试试用我们的建模思路，看可否解决加速度计的时间漂移问题。 
