0   引言

图像闪烁是指图像序列的亮度(灰度值)在空间上和时间上非自然的快速变化，这种变化并不是场景中的原始亮度变化的反映。图像闪烁的现象广泛存在，在旧胶片电影修复、视频监控、全景图像拼接和延时摄影等领域都会遇到。尤其是在医学/生物学图像分析、视频/摄影测量和机器视觉等领域，许多分析算法都对亮度敏感，图像闪烁问题会影响结果的精准度。

针对不同的图像，导致其闪烁的主要原因也不同，旧电影中的闪烁是由于早期的电影技术造成的，如胶片成分的退化、曝光不稳定等；而现代视频或影像的闪烁则主要是受摄像机的性能和光照条件变化的影响，如在日光灯照明下采用较短的曝光时间拍摄图像时，日光灯的频闪特性会使图像序列产生明显的周期性闪烁。

图像亮度变化的原因，除照明或设备原因导致的非自然闪烁外，还包括因场景变化(如场景角度变化、目标运动和变形)导致的亮度自然变化，多种因素耦合在一起，实现闪烁修正并不容易。在该领域的研究中，闪烁修正多是应用在旧电影修复或监控图像亮度稳定上，其目的一方面是尽量减少画面的明暗变化，避免人眼疲劳，提升观看体验；另一方面，亮度均匀的视频在编码时具有更高的压缩率，可以节省存储空间，易于传输和存档。

在高速风洞视频测量试验中，通常会安装专用照明设备，但由于试验段周围环境光照条件复杂(干扰源有用于环境照明的日光灯或LED灯，以及监控设备的照明灯等)。由于照明灯的频闪特性，在相机设定的曝光时间较短时，成像很容易出现不同程度的闪烁，造成图像的灰度均值出现周期性变化，如图 1(a)~(f)所示，其中图 1(a)和(b)分别为标定板图像及其灰度均值变化曲线; 图 1(c)和(d)为模型变形测量图像及其灰度均值变化曲线；图 1(e)和(f)分别为油流试验图像及其灰度均值变化曲线。开展试验时，可采取增强测量专用照明光源的功率、降低干扰光源功率和延长曝光时间这些措施，在一定程度上能够抑制干扰源导致的闪烁, 但是前2种方法受硬件条件及测试环境的限制，而延长曝光时间会引入运动模糊，在高速摄影测量中不适用。

图  1  风洞试验图像序列的闪烁现象

Fig.  1  Flicker in wind tunnel test

下载: 全尺寸图片 幻灯片

文献中图像闪烁修正的方法主要分成2类：一类是基于线性或非线性模型的修正方法^[1-8]。其原理是通过参数辨识，在基准图像和闪烁图像之间建立仿射模型，利用模型对闪烁图像进行反变换，可得到修正的图像；或者将图像分割成小块，在不同图像的对应块之间建立仿射模型。对于不含运动的图像，其优点是算法简单，处理速度快，主要缺点是基准图像的特性会扩散到整个修复后的图像序列，因此修复效果对基准图像的选择很敏感；对于包含全局运动的图像，需要先全局消抖；对于包含局部运动的图像，需要对运动区域进行识别、分割和运动估计，算法复杂度较高。

在风洞试验中，风洞模型一般为不锈钢材料，表面光滑，缺少可用于图像分块匹配的纹理特征。对于不同帧图像的同一区域，图像之间闪烁导致的亮度变化、模型运动以及相机抖动导致的亮度变化耦合，使得运动检测精度有限，严重限制了模型精度和修正效果，也限制了运动检测的效果。另外，在风洞高噪声振动环境下，需要根据图像中风洞刚性壁板上的标记点坐标解算相机的实际位置和姿态，进而确定模型上标记点的坐标以提高测量精度。因此，视频测量图像是不可以进行全局消抖处理的，这也限制了基于模型方法的应用。

另一类是基于直方图的方法^[9-13]，这类方法假定闪烁对整幅图像产生相同或相似的影响，属于全局性的变换方法，因此对图像抖动和局部运动鲁棒性很高。传统的直方图匹配法将闪烁图像的直方图变换成基准图像的直方图来修正闪烁，同样对基准的选择很敏感；直方图平均法将图像的直方图匹配到邻域内多帧图像直方图的平均值，在图像序列亮度存在跳变的情况下不适用^[11-12]。假设直方图平均法的邻域宽度为3，如图 2所示，从上至下前3幅依次为序列中第n-1、n和n+1帧图像的灰度分布(横轴为灰度值)，可见，图像之间亮度存在跳变。第4幅中红色为平均法得到的第n幅修正图像的灰度分布，明显与期望的修正结果(绿色)不符，损害了图像中的信号。由图 1可知，在风洞试验中，存在亮度闪烁的序列相邻帧的亮度在不断跳变，直方图平均法不适用。

图  2  直方图平均法的局限

Fig.  2  Disadvantage of average histograms method

下载: 全尺寸图片 幻灯片

Delon提出了一种尺度时间的直方图均衡方法(Scale-Time Equalization, STE), 通过将图像序列的直方图在时间维度上进行高斯卷积变换来修正闪烁，其适应性比直方图平均法强，且修正结果与基准图像无关。通过指定不同的高斯核参数，可以调节修正量，在闪烁和亮度自然变化之间权衡，具有很高的稳定性^[11-12]。在视频测量试验中，试验段的背景相对固定，模型在相机视野内运动，其图像全局特征变化很小，因此基于STE的方法比较适用。

本文针对高速风洞视频测量试验图像序列的特点，基于STE方法开展图像闪烁修正技术的研究与应用。

1   STE方法

1.1   直方图匹配

设r和z分别表示变换前的图像f和变化后的目标图像g的灰度级随机变量，其概率密度分别为P_r(r)和P_z(z)。直方图匹配^[14]是指将图像f变换到g, 并使g具有指定的概率密度P_z(z)。

变换公式为：

生成了有均衡化概率密度函数P_q(q)的灰度级随机变量q。T(r)是r所在区间[0, L-1]的严格单调递增函数，且当r∈[0, L-1]时，有T(r)∈[0, L]。

假设z满足：

可得：

P_r(r)可通过图像f的直方图统计得到，T(r)可通过式(1)得到，利用式(2)计算G(z)。对于离散图像，可通过统计数据表查询得到其反变换G^-1(q)，期间需要对浮点数圆整到[0, L-1]，会对直方图匹配精度造成一定的损失，因此直方图匹配操作得到的是近似具有概率密度P_z(z)的图像g。

1.2   STE

STE利用尺度空间(Scale-Space)理论，针对图像序列中的每一帧实施直方图变换，将其直方图匹配到其目标直方图。每一帧图像的目标直方图由相邻图像的原始直方图进行加权平均得到，其权重就是具有不同尺度参数的高斯核。经过卷积处理，直方图随时间快速变化的细微结构被平滑反映到图像上，就是亮度闪烁被抑制；而目标场景的慢速自然变化，根据尺度参数的选择，可以在一定程度上被保留。

针对图像序列f_t，其直方图的STE变换的公式为：

式中：H_t表示t时刻图像f的离散累积直方图；H_s表示t时刻图像f变换后的离散累积直方图；为高斯卷积核函数；t→H_t^-1(λ)表示f_t的累积直方图中灰度值为λ的直方图值随时间变化的函数。

基于尺度空间理论的STE变换具有如下特性：(1)前景/背景独立性，即对前景的变换和对背景部分的变换是独立的；(2)时移不变性，即变换结果与时间起点的选择无关，因此无需预先指定基准图像；(3)常量不变性，即图像序列没有任何变化，变换结果和原始图像相同。

1.3   图像处理流程

对于试验采集到的离散图像序列f_k, k∈[1, N], 其中N为序列长度。

处理流程为:

(1) 设定尺度因子s和卷积核的长度l生成高斯卷积核G_s。

图 3给出了s取不同值时G_s的形态，可见，参数l确定了参与平滑的邻域帧的数量，增大l时可强化对低频闪烁的抑制；s则决定了在图像之间进行平滑处理时各邻域帧的权重，值越大，去闪烁效果越强，但是也会将图像中的亮度自然变化抑制；反之，则会保留更多的帧间自然变化。

图  3  s不同取值时G_s数的形态

Fig.  3  G_s functions of different s

下载: 全尺寸图片 幻灯片

(2) 计算图像序列的累积直方图H(k, λ), k∈[1, N], λ∈[0, L-1]，对于8位灰度图像，L=256。

(3) 对于每一个i∈[0, L-1]，采用高斯核G_s对H(k, λ)|_λ=i执行卷积运算，得到目标直方图。

(4) 对于每一个k∈[1, N]，将图像f_k的直方图匹配到。由于直方图匹配时浮点数的圆整化会出现精度损失，决定了基于STE的方法比较适用于亮度闪烁幅值较大(其值大于1)的情况，修正后图像的闪烁幅值可以被抑制到0.5左右，即浮点数圆整到整数的精度。对于亮度闪烁幅值小于1时的轻微闪烁，STE方法修正效果不明显。

2   实验结果与分析

2.1   校准板图像修正

相机校准板图像的拍摄条件为室内环境光加日光灯照明，曝光时间为2000μs，相机成像出现了较强烈的闪烁，如图 1(a)和(b)所示。由于照明灯闪烁频率为50Hz，而图像采集频率为80Hz，采样频率较低，因此图 1(b)中灰度均值出现了混叠失真。由于标定板位置和姿态固定，整体在日光灯直射和周围墙壁反光的照射下成像，且图像中不存在高光反射点，所以图像的闪烁是全局性闪烁，不存在局部变化的耦合。图 4(a)显示了300帧连续图像的灰度直方图，可见，图像各个灰度值的统计值在时间维度上存在剧烈的波动。卷积核参数取l=21, s=8，在执行STE之后，直方图在时间维度上被平滑，如图 4(b)所示。

图  4  校准板图像序列闪烁修正结果

Fig.  4  Compensation result of calibration plate images

下载: 全尺寸图片 幻灯片

图 4(c)显示了和H(k, λ)|_λ=80的对比曲线，可见STE变换较好地抑制了高频周期性波动。图 4(d)显示了修正前后图像灰度均值对比曲线，也可以看到高频周期性波动被抑制。图 4(e)上半部分显示了原始图像序列第100和101帧的差值图像(局部)，下半部分显示了修正序列的第100和101帧的差值图像。为了更清楚地看到差异，差量均被放大了3倍，可以看出，修正后帧间亮度差异非常小。由图 4(d)的全图均值对比曲线可知，灰度均值的高频波动基本被抑制在了0.5以内。可见，STE方法对全局闪烁修正效果良好。

根据1.3节对STE方法的分析，采用更大的l和s能够对亮度波动进行更强的抑制，图 4(f)显示了l=71, s=450时，曲线的对比。可见，直方图低频波动的幅值能够被进一步抑制。需要说明的是，如果直方图序列两端不做延拓, 卷积操作后序列有效长度会减小l。

2.2   风洞模型变形试验图像修正

风洞模型变形试验过程中，模型在风洞控制系统的驱动下，其迎角或侧滑角做连续式或阶梯式的变化，在试验采集的图像序列中，试验模型在图像中的位置或姿态在不断改变。因此，即使不存在照明导致的闪烁问题，图像序列中局部区域的统计特征也会随时间出现自然的变化。在试验过程中，通常试验模型只会在相机视野内运动。因此，在不存在闪烁时，整幅图像的统计特征(如灰度直方图)并不会随着模型运动而出现大的变化，故基于STE的闪烁修正方法仍具有适应性。

图 1(c)和(d)显示了某风洞模型变形测量试验采集的图像序列灰度均值的变化情况，可以看出，在风洞试验期间，图像灰度均值不仅存在周期性变化，还包括持续的亮度衰减过程。图 5(a)为其直方图，可见各个灰度值的曲线均存在较明显的闪烁。高斯卷积核参数取l=21, s=200，在执行STE之后，直方图在时间维度上被平滑，如图 5(b)所示。图 5(c)显示了和H(k, λ)|_λ=13的对比曲线，可见STE变换较好地抑制了直方图的高频周期性波动。

图  5  变形测量试验图像序列闪烁修正结果

Fig.  5  Compensation result of deformation test images

下载: 全尺寸图片 幻灯片

由于试验模型在不断运动，无法像2.1节那样通过相邻帧的差值直观地查看闪烁修正的效果。图 5(d)显示了原始图像第21和22帧的差量(为了更清楚地看到差异，差值均被放大了2倍)，模型边缘部分出现了较大的差量带，其宽度即为模型运动导致其成像位置变化的幅度。图像中的模型区是后续分析处理的关键区域，为了避免背景像素的干扰，可以将图像分割成试验模型和背景再进行统计。

对原始图像进行二值化和膨胀、腐蚀、填充等形态学处理，获取试验模型的遮罩图像，如图 5(e)所示。将序列中的每一帧图像，利用其遮罩分割为模型和背景区域。分别对原始图像和修正图像的模型区域进行统计，得到图 5(f)的灰度均值对比曲线，从图中可以看出，模型区域平均亮度的闪烁幅值被有效抑制。

2.3   风洞动态油流试验图像修正

在动态油流试验中，相机曝光时间设置较短，在环境光的干扰下，试验采集的图像序列出现了闪烁，如图 1(e)、(f)和6(a)所示。由于用来分析试验图像的光流法是以运动目标亮度不变为前提，所以闪烁会导致目标对应像素在帧间亮度突变，影响到帧间目标像素的匹配，降低了光流法分析结果的可信度。

图  6  空腔油流试验图像序列闪烁修正结果

Fig.  6  Compensation result of cavity oil film test images

下载: 全尺寸图片 幻灯片

在试验过程中，油流图像的油膜区域在模型表面气流的作用下不断地扩散，与2.2节的刚性模型运动不同，其分布形态、厚度和面积都在随时间动态变化。因此，模型区域统计特性的慢速自然变化和闪烁引起的快速变化耦合在一起，在这种情况下，通过采用较小的尺度参数，STE方法可以在抑制闪烁的同时保留油流区域的动态变化特征。

高斯卷积核参数取l=15, s=16，在执行STE之后，直方图在时间维度上被平滑，如图 6(b)所示。图 6(c)显示了和的对比曲线，可见STE变换较好地抑制了直方图的高频周期性波动，同时保留了图像亮度逐渐变暗的趋势。图 6(d)显示了修正前后图像灰度均值对比曲线，也可以看到高频周期性波动被抑制。

由于油流试验过程中油膜分布形态随动态变化，因此也无法通过相邻帧的差值直观地查看闪烁修正的效果，可以采用2.2节类似的方式，单独对修正前后的图像的模型区域进行统计分析。

和模型变形测量试验不同，空腔油流试验过程中，模型保持静止，因此可以利用固定的遮罩图像(见图 6(e))对STE变换前后的图像序列进行分割，然后针对模型区域进行统计。图 6(f)给出了针对模型区的灰度均值对比曲线，可以看出，STE处理后，模型区域的亮度闪烁抑制效果良好。

本实验结果也证明了对于被摄目标存在形态变化的图像序列闪烁修复问题，STE方法仍具有较好的适应性。

2.4   闪烁修正对标记点定位精度的影响

对于图 1(a)中存在强烈闪烁的标定板图像，由于相机和标定板均固定，因此可以用来分析闪烁对定位精度的影响。采用灰度质心法(二值化阈值取50)分别在修正前后计算第96和97帧图像中前100个标记的质心坐标差量，如图 7所示。其中修正前差量的均值为0.264pixel，修正后差量的均值为0.173pixel(图像尺寸：5120pixel×5120pixel，标定板长度500mm且成像占满画幅，换算成空间坐标差量分别约为0.026和0.017mm)，减小了34.5%。

图  7  闪烁修正前后标记坐标的差量对比

Fig.  7  Marker location error before and after STE

下载: 全尺寸图片 幻灯片

3   结论

在高速风洞视频测量试验中的应用结果表明，基于STE的图像序列闪烁修正方法对包含闪烁的图像序列修正效果良好，证明了该方法对于图像抖动、模型局部运动和变形等干扰因素具有较强的鲁棒性。通过调整卷积核参数，可以在抑制图像亮度闪烁的基础上保留场景的自然变化，有利于保留更多图像信息。得益于STE的时移不变性，在修正图像序列前无需指定基准图像、无需运动检测和全局消抖，较基于仿射模型的修正方法，在高速风洞视频测量中更具工程实用性，在摄影测量和机器视觉等领域具有推广应用价值。