光流评价指标计算,即光流真值的获取

您好,想请问一下,对于光流评价指标中,光流真值是怎么得到的。

该回答引用ChatGPT

如有疑问,可以回复我!

光流评价指标常用的有平均角误差(Average Angular Error,AAE)、光流误差(Optical Flow Error,OF Error)和光流相对误差(Relative Optical Flow Error,ROFE)等。

其中,AAE 是计算光流估计结果与真值之间的角度误差的平均值,公式如下:

$$AAE = \frac{1}{N} \sum_{i=1}^{N} \cos^{-1}\left(\frac{\mathbf{u}{i} \cdot \mathbf{v}{i}}{\left|\mathbf{u}{i}\right| \left|\mathbf{v}{i}\right|}\right)$$


其中,$\mathbf{u}{i}$ 和 $\mathbf{v}{i}$ 分别表示第 $i$ 个像素点在两帧图像之间的光流估计向量和真实光流向量,$N$ 表示像素点数目。

OF Error 表示光流估计向量和真实光流向量之间的欧氏距离的平均值,公式如下:

$$OF Error = \frac{1}{N} \sum_{i=1}^{N} \left|\mathbf{u}{i}-\mathbf{v}{i}\right|$$


ROFE 表示 OF Error 除以真实光流向量的模长的平均值,公式如下:

$$ROFE = \frac{1}{N} \sum_{i=1}^{N} \frac{\left|\mathbf{u}{i}-\mathbf{v}{i}\right|}{\left|\mathbf{v}_{i}\right|}$$


获取光流真值的方法有多种,一般来说可以采用以下两种方式:

1、使用真实场景视频,通过使用特殊设备(如激光测距仪、雷达等)获取真实光流向量。

2、利用数据集提供的真实光流向量。常用的数据集有 Middlebury、KITTI、MPI Sintel 等。在使用数据集时,需要注意数据集中的光流真值是否已经经过预处理(如缩放、截取、转换为灰度等)。如果没有进行预处理,则需要根据需要进行相应的处理

光流评价指标中,光流真值通常是通过计算机视觉中的两幅图像之间的像素位移来得到的。这个过程称为光流计算。在计算光流时,需要使用一些计算机视觉算法,比如基于区域的光流算法、基于稠密采样的光流算法等。这些算法可以对两幅图像之间的像素位移进行估计,从而得到光流场。在实际应用中,通常使用一些公开数据集或者自行采集数据集来评估光流算法的性能,这些数据集中会提供光流的真值,以便比较和评估不同的算法。

参考GPT和自己的思路:光流评价指标中,光流真值指的是由于场景中物体的运动而引起的像素点的实际运动。通常情况下,光流真值需要通过以下两种方式之一来获取:

1 真实场景的视频:可以使用专业的高速相机或者其他成像设备来捕捉真实场景中的运动,并且通过计算机视觉算法来得到场景中物体的实际运动。

2 合成数据:可以使用计算机图形学技术合成虚拟场景,并且对虚拟场景中的物体施加运动,以得到像素点的实际运动。可以使用一些流行的图形学软件,如Blender、Maya等来创建虚拟场景。此外,还可以使用一些公共数据集,如KITTI、Middlebury等,这些数据集提供了真实场景中的光流真值,供学者们进行算法的评估和比较。

总的来说,获取光流真值需要使用专业的设备或者软件,并且需要花费大量的时间和精力。因此,很多研究工作会使用公共数据集提供的光流真值进行评估。

获取光流真值的过程一般包括以下几个步骤:
1 选择真实场景或合成场景:首先需要确定获取光流真值的场景,可以是真实场景的视频,也可以是合成场景。真实场景的视频可以通过相机捕捉,而合成场景可以通过计算机图形学技术创建。

2 选择计算机视觉算法:选择合适的计算机视觉算法来计算光流真值。根据不同的场景和应用,可以选择不同的算法,如基于相关性的光流算法、基于能量优化的光流算法、基于神经网络的光流算法等。

3 实施计算机视觉算法:实施所选的计算机视觉算法,计算出光流场。

4 与真实值比较:将计算出的光流场与真实的光流值进行比较,得到光流误差,例如平均角误差(Angular Error)、平均端点误差(Endpoint Error)等。

5 评估算法性能:通过比较不同算法计算出的光流误差,评估算法的性能。

需要注意的是,由于真实场景中的光流真值很难获取并且往往需要大量的时间和精力,因此研究者通常会使用公共数据集中提供的光流真值来评估算法性能,而不是自己收集真实数据。

不知道你这个问题是否已经解决, 如果还没有解决的话:

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^