最近,杭州淅淅沥沥地一直在下着雨,随之而来的是连绵不绝的雨雾天气,也就是古人说的“烟雨江南”,可是这个在古人眼里如此优美的画面,在监控摄像机看来是如此的难堪,如何去除这层迷雾还原真相?这也是一直以来的监控难题。
“雾”由何来,如何去透
一般认为,大气介质主要由空气分子、水汽和气溶胶组成。气溶胶是悬浮在气体中的小粒子构成的弥散系。某些粒子具有高吸湿性,起到水汽凝结中心的作用,其大小与环境相对湿度、水汽供应和由碰撞而发生凝聚的程度有关。由于大气中各种颗粒的大小、类型以及聚集程度的不同产生晴、霾、雾、云、雨等各种天气。
当下,雾霾天气横行,我们经常会用PM2.5的数值大小来衡量雾霾。PM2.5是指直径小于等于2.5微米的细颗粒物。相比于粗大的颗粒物,细小的PM2.5降低能见度的能力更强,能见度降低了我们看东西的时候就会受到阻碍,出现模糊,视物不清等等,还会阻碍光的照射。PM2.5环境与一般环境的不同之处在于细颗粒物的浓度更高。
再来看细颗粒物对视频监控的影响:在有雾天气下,从物体表面反射的光线在到达成像设备的过程中会受到空气中悬浮颗粒的影响。气溶胶粒子是雾霾形成的主要因素,也是图像质量产生退化的根本原因,其影响主要有以下几个方面:
气溶胶粒子对光线有散射作用,散射损失使“透射光”强度衰减,造成了图像的对比度下降。
由于气溶胶粒子的非均匀性,使球面波畸变成非球面波,导致图像变模糊,边缘和细节降低。
气溶胶粒子的粒径较大,粒子的自身成像不容忽视,可以近似理解成“噪声”。
气溶胶粒子对成像光线的散射部分会因为多次散射的作用,和原有的前向散射部分叠加在一起成像,产生一定的模糊。
由此看来,细微颗粒物更多的环境,会造成更多次散射,从而造成更严重的模糊,给实时透雾造成更大的难度。而就当下来看,由水汽、烟尘等构成的气溶胶粒子是雾霾的主体,也是造成图像质量退化的根本原因。雾霾天气下图像色彩黯淡、对比度较低,一些重要目标的细节更是淹没在雾气中难以被察觉。因此,去除视频中的雾气,改善成像质量,是提升户外视频监控应用价值的一项重要技术。
透雾技术经过多年的发展,经历了多个阶段,形成了以彩色透雾和黑白透雾两种不同的需求方向。彩色成像的数字透雾,以当下各大安防厂家竞争的“透雾算法”为核心关键;黑白成像的光学透雾,则是以“光学透雾”为基础和典型代表;当然,现在市场上出现一种增加了透雾算法的光学透雾,力求得到更好的透雾效果,也就是”光学+算法双重透雾”,在浓雾下依旧清晰成像。
穿透迷雾,各显神通
还原彩色世界的数字透雾
数字透雾技术的发展一般有两个阶段:第一个阶段——“浅透雾”阶段,这类方法通过调整传感器采集信息的分布,增强观测目标的色彩与细节,使信息减少在后续处理(例如ISP和编码压缩)中的损失,用户观测效果也能获得提高。但是这种透雾效果不明显,也称假性透雾。“浅透雾”也是目前市面上普遍采用的透雾技术。第二个阶段——“算法透雾”阶段,算法透雾可根据物理上雾霾的形成模型,通过局部区域灰白程度判断雾霾的浓度,从而复原出清晰的无雾霾图像。算法透雾能够保留图像的原有色彩,同时能够在“浅透雾”的基础上大幅提升图像透雾效果。
经历了以上两个透雾发展阶段也形成了两种透雾处理模式:一种是非模型的图像增强方法,通过提高比度,满足主观视觉的要求来达到清晰化的目的;另一种是基于模型的图像复原方法,它考查图像退化的原因,将退化过程进行建模,采用逆向处理,以最终解决图像的复原问题。
目前通过增强的方式(浅透雾)来进行透雾处理典型的方法包括:直方图均衡化、滤波变换方法和基于模糊逻辑的方法。直方图均衡化方法,其中全局化方法运算量小但对细节的增强不够;局部均衡方法效果较好,但可能引入块状效应、计算量大、噪声被放大及算法效果不易控制的问题。滤波变换的透雾算法,通过局部处理能获得相对较好的处理结果,但它们的计算量巨大、资源消耗多、不适于实时性要求较高的设备。已知的基于模糊逻辑的方法透雾的效果不够理想。
基于图像增强的方法(算法透雾)能在一定程度上提高图像对比度,并通过增强感兴趣区域来提升可识别度。但该方法未能从图像退化过程的原因入手来进行补偿,因此它只能改善视觉感受而不能获得很好的透雾效果。
基于图像复原的方法主要有以下几类:滤波方法、最大熵方法与图像退化函数估计法等。滤波方法如卡尔曼滤波方法,整体而言计算量较大。最大熵法能获得较高的分辨率但是其非线性、计算量大、数值求解困难。图像退化函数估计法大多依据一定的物理模型(如大气散射模型与偏振特性的透雾模型)来设计,需要在不同的时间点采集多幅图像作为参考图像,以便确定物理模型中的多个参数,而最终求解得到无雾状态下的结果图像。透雾算法也是当前安防行业有实力的厂家透雾产品的核心竞争点。
追求更好还原的光学透雾
来看光学透雾的依据:自然光由波长不同的光波组合而成,人眼可见范围大致为390nm-780nm,波长从长到短分别对应了红橙蓝绿青橙紫七种颜色,其中波长小于390nm的叫做紫外线,波长大于780nm的叫做红外线。不同波段的光因为波长的不同具有不同的特性,而红外线因为拥有较长的波长,在传播时受气溶胶的影响较小,可穿透一定浓度的雾霭烟尘,实现准确聚焦。
光学透雾技术就是采用针对红外波段成像特殊优化的镜头,通过滤光片对特定近红外波段光线进行截取,从而利用雾气中的红外光进行成像。因此,一般光学透雾的透雾处理大都由镜头完成。专业透雾镜头内置有针对性很强的滤波片,作用是精确截取所需波段的光线,且为了适应特定环境状况,常常会加载多片针对不同波段的滤波片,并通过485接口与摄像机联动,实现切换。光学透雾对于雾气的穿透力非常强,成像效果表现较好,但由于是红外波段成像,所以呈现的也只能是黑白图像,并且这种透雾方式设备成本投入较大,一般用户有需求但会望而却步。
精益求精的第三代透雾
除了使用低照度性能更好的感光芯片,部分厂家甚至另辟蹊径在机器内部增加专门的透雾滤光片,以寻求更经济实惠的光学透雾模式,在两滤波片的日夜转换摄像机的基础上增加透雾滤波片,可截取适合成像的近红外波段,以实现较为经济的光学透雾。此机械装置可由摄像机自动控制,也可人工切换。
在当下,市场上出现了第三代透雾技术,最典型的代表就是配合光学透雾增加了相应的算法透雾,有人称之为“光学+算法双重透雾”。光学+算法双重透雾是在光学透雾的基础上集成透雾算法,在原有光学透雾的基础上使透雾效果得到进一步的提升。这种技术对于安防厂家的要求非常高,产品在设计时,就需要通过大量的实验论证,从多种方案中选择出最合适的滤光片、镜头、传感器和特定的透雾算法组合,在保证了透雾效果的同时,需要避免出现图像噪声过大,清晰度下降的情况,从而得到进一步提升的透雾效果。
第三代“光学+算法透雾”技术:超级透雾,业界首创集成光学透雾、SSD透雾算法、自适应感应算法三位一体技术。自适应透雾算法可根据图像灰白程度智能判断雾霾浓度,在不同的透雾模式下可自动调节透雾等级:当浅雾时开启SSD算法透雾模式,根据雾的浓度,自动调节透雾程度,提升透雾效果,图像彩色;当浓雾时开启超级透雾模式,根据雾的浓度,自动调节透雾程度,增强透雾效果,图像黑白。
不同透雾,不同视界
综合来看,在选择一台透雾设备的时候,除了摄像机硬件本身的能力,还需要比较各个品牌产品之间的“软实力”,也就是透雾算法上的优劣。因为各个厂家的图像处理技术能力不同,图像效果也会有较大差异。而数字透雾和光学透雾的成像效果区别,也恰恰决定了数字透雾和光学透雾不同的应用方向。数字透雾能够保留图像原有的色彩,图像还原能力比光学透雾略差,但是还是有部分场景会要求保留图像原有的色彩,此时数字透雾会是比较理想的选择。光学透雾则由于是利用红外成像,所以图像是黑白的,但是图像还原能力更好,甚至有加入算法透雾的第三代透雾技术,可得到更好的透雾效果,在浓雾下依旧清晰成像。
(本文作者杭州海康威视数字技术股份有限公司技术支持工程师)