图像传感技术之图像信号处理

    【CPS中安网 cps.com.cn】 随着计算机与网络技术的发展，目前视频监控已经发展到了基于IP网络的全数字监控时代，即进入了第三代全数字网络视频监控时代。这个时代的代表产品以IPC、NVR为主。但是这些数字产品受恶劣天气(雾、雨、风、光等)和监控系统自身技术条件的限制，视频图像往往达不到理想的效果，图像质量很不稳定，进而导致对识别、取证、事件分析等操作造成困难，使系统无法正常应用。因此，图像信号处理技术的研究和应用在安防领域具有很重要的意义。

　　数字图像信号处理的应用越来越广泛，数字信号处理主要作用是对前端图像传感器输出的信号做后期处理，其基本功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制、自动聚焦控制等。人们对监控图像质量的要求越来越高，提升监控图像的实用价值已经成为社会向整个监控行业提出的新要求，智能化和高清化更加加快了数字图像处理技术研发进程，图像信号处理技术也将在这样的市场需求下不断演进。深圳中兴力维技术有限公司(简称力维)提出了一些更有针对性的处理功能，如 3D数字降噪功能、背光补偿功能、宽动态功能、强光抑制功能、实时视频透雾功能、电子防抖功能、低照度获取清晰图像的功能等等。这些特性功能大多是力维根据实际场景的实际需要而设计的，应用上更具针对性。

　　基本功能

　　在图像信号处理中，其基本功能有线性纠正、噪声去除、坏点去除、内插、自动白平衡、自动曝光控制、自动聚焦控制等，这些功能是一台摄像设备能输出清晰图像的基本保障。现重点介绍下这些功能中的噪声去除和自动白平衡、自动曝光控制、自动聚焦控制。其中后面的三个功能就是图像信号处理经常提到的3A处理功能。

　　噪声去除

　　数字图像的噪声主要来源于图像的获取(数字化过程)和传输过程。图像传感器的工作情况受各种因素的影响，如图像获取中的环境条件和传感元器件自身的质量。例如，使用CMOS照相机获取图像，光照程度和传感器温度是生成图像中产生大量噪声的主要因素。同时当信号经过ADC时，又会引入其他一些噪声。这些噪声会使图像整体变的模糊，而且丢失很多的细节，令人眼难以接受。所以在此，需要对图像进行去噪处理，以去除这些噪声的干扰。

　　空间去噪传统的方法有均值滤波和中值滤波。均值滤波能够有效地平滑噪声，但同时会将边缘变模糊。为尽量避免这个问题，通常用较小的滑窗(如3×3或5×5)对图像进行操作。中值滤波法与均值滤波法操作过程类似，所不同的是中值滤波法用滑窗内所有像素值的中间值代替滑窗中心的像素值。同样，这种方法在平滑噪声的同时将使边缘模糊，并会丢失细小的线性特征。5×5的中值滤波器将导致可观的边缘模糊。传统的空间去噪方法都是在RGB彩色空间中进行的，需要三维的图像数据，要对RGB三基色分别进行滤波，需要完整的RGB三色值，即需要对bayer型模式的数据进行内插之后的图像。这种方法虽然能够提高滤波效果，但是会占用过多的硬件资源，鉴于此，有人提出一种基于bayer型模式的双边自适应滤波器。基于bayer型模式的滤波器仅需对二维灰度图像进行滤波处理，它的硬件资源消耗可以减小为前者的三分之一。双边自适应滤波器不仅对各类噪声有良好的滤除能力，还能使图像中的细节得到很好的保留。

　　白平衡技术

　　白平衡即WhiteBalance。物体反射出的光的颜色视光源的色彩而定，人类的眼睛之所以把一些物体看成白色的是因为人的大脑可以侦测并且更正像这样的色彩改变，因此不论在阳光、阴霆的天气、室内或荧光下，人们所看到的白色物体颜色依旧。比如在钨丝灯下呆久了，并不会觉得钨丝灯下的白纸偏红，如果突然把日光灯改为钨丝灯照明，就会觉查到白纸的颜色偏红了，但这种感觉也只能够持续一会儿。CCD、CMOS传感器并不能像人眼那样具有适应性，所以如果照相机的色彩调整同景物照明的色温不一致就会发生偏色。为了贴近人的视觉标准，就必须模仿人类大脑并根据光线来调整色彩，也就是需要自动或手动调整白平衡来达到令人满意的色彩。白平衡就是针对不同色温条件下，通过调整使拍摄出来的图像抵消偏色，更接近人眼的视觉习惯。白平衡可以简单地理解为在任意色温条件下，相机镜头所拍摄的标准白色经过相关算法调整，使之成像后仍然为白色。

　　自动白平衡的主要算法可以分为基于单幅图像的简单像素级统计的方法、GAMUT—based方法 、基于多幅图像学习的方法几类。其中基于单幅图像的简单像素级统计的方法是目前可以满足实际工程中实时需求的方法，该方法主要有灰度世界算法、自动搜索白点白平衡算法、最大RGB算法等。灰度世界自动白平衡和自动搜索白点白平衡有各自的优点和使用场合。灰度世界自动白平衡对于图像的还原效果虽然没有自动搜索白点白平衡的效果好，但是它能够适应几乎所有的场景和光源。后者虽然在效果上占有优势，但是对于一些特殊的场景情况就无能为力了，比如在某个场景中主要以单色调为主，那么它就不能找到足够多的白点进行白平衡的计算。因此灰度世界自动白平衡可以用作自动搜索白点白平衡的一个补充，这样就能更好的提高图像信号处理的适用范围。

　　自动曝光控制技术

　　在实际的拍照过程中，经常会出现很多场景过渡的情况。例如，从室内到室外，在黑暗的环境下打开灯等。室内的光源一般为日光灯光源，室外光源为太阳光，太阳光的强度一般是日光灯的几百上千倍。人的眼睛可以通过虹膜调整瞳孔的大小，控制眼睛中的进光量，达到自我调节的效果，所以，当人从室内走到室外的一瞬间会觉得光线很刺眼，但是过一会，一旦适应了外部环境，就会感觉室外的物体也不比室内的亮很多。然而CMOS传感器却不知道此时光源发生了改变，如果仍然按照室内的曝光时间来对室外物体进行曝光，就会产生过曝现象，即整个图像画面几乎变成了纯白色，无法再看清其中的物体。因此，需要对曝光时间和增益大小进行调整，达到一个新的平衡。同理，对于其他情况，如从暗到亮，从亮到非常亮，从非常亮到亮，从亮到暗等情况都需要进行这种调节。自动曝光控制是通过特定的算法，对已拍图像进行统计，判断此时是否存在光强的剧烈变化，根据判断结果对曝光时间和增益大小进行调整，它的使用是非常广泛的，它可以很好的适应各种光强的改变。

　　自动聚焦控制技术

　　自动聚焦技术广泛应用于照相机、摄像机等各种精密仪器中，它是数字图像前端处理的重要技术。这里主要讨论针对摄像机的自动聚焦技术，视频序列的自动聚焦是针对运动图像的，除了聚焦速度和精度上的要求外，视频自动聚焦过程输出的图像必须符合人眼的观察特性，就是说，在评价函数最大值搜索过程中，图像的清晰度状态只能由模糊-清晰，而不能出现由模糊-清晰-模糊-清晰这种来回振荡的过程。同时，由于视频序列的场景内容是变化的，场景快速变化给聚焦过程带来的干扰会导致聚焦失败，视频自动聚焦算法还需要排除这些干扰，增强聚焦可靠性。因此，一个好的视频自动聚焦算法应满足以下的要求：1、聚焦收敛速度快而且聚焦准确;2、聚焦过程中，图像的清晰度是单向变化的，聚焦收敛到清晰点后，图像不再模糊，即不出现图像虚晃现象。

　　特性功能

　　力维研发具有一定针对性的图像处理技术消除客观环境中的某一特定干扰，从而获取特定环境下的高质量监控图像，如用3D数字降噪功能有效地将低照度场景图像和运动场景图像中产生的噪声滤除，产生高质量的清晰图像;用宽动态功能获得图像暗处的细节而图像的明亮处又不过曝;用实时视频透雾功能获得准确、自然的透雾图像。实现这些特性功能的相关算法介绍如下。

　　3D数字降噪算法

　　在视频图像降噪算法中，时域降噪比空间去噪在保护边缘和细节方面更有优势。根据此原理提出了一种空间域和时域相结合的降噪算法，即3D数字降噪算法。图像内容在帧间具有很强的相关性，在时域上，基于运动估计在当前帧的前一帧和后一帧中同时搜索匹配块。对搜索到的匹配块进行运动强度检测，如果运动强度较小，就进行时域滤波，如果运动强度过大，就对当前块进行空域滤波。通过这种时域和空域的结合，有效地消除了视频图像中噪点，从而获得平滑、纹理细节丰富的画面。3D数字降噪功能多用在低照度场景和运动场景，但对于运动比较剧烈的物体，常会出现“拖尾”现象。3D数字降噪算法对视频图像的优化效果如表1所示：

　　宽动态算法

　　宽动态技术是在非常强烈的对比下让摄像机看到影像的特色而运用的一种技术。 当在强光源(日光、灯具或反光等)照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色，严重影响图像质量。

　　宽动态处理算法严格来说有两种，一种是将宽动态图像的原始数据通过算法压缩至低动态范围,同时尽可能的保持图像的细节和对比清晰;一种是将原本的低动态范围图像通过算法提升图像中的细节和对比的清晰程度。前一种处理的数据是来自图像传感器输出的信号，即最早的原始数据，而后一种处理的数据来自低动态范围的图像数据。针对特定的逆光场景，宽动态处理算法在强光照地方采用短曝光，在低光照处采用长曝光，采用相关算法合成短曝光数据和长曝光数据，得到的图像既能保留暗处的细节又不会让明亮处过曝。宽动态处理效果如下图所示：

　　实时视频透雾算法

　　空气中的液滴和固体小颗粒使户外监控视频质量明显降低，在雾霾天气下，图像色彩黯淡、对比度变低，一些重要目标的细节更是淹没在雾气中难以被察觉，视频监控系统的实用性受到很大影响。因此，去除视频中的雾气，进而改善图像质量，成为提升户外视频监控系统应用价值越发重要的一项关键技术。

　　目前已知的透雾算法大致可以分为两大类:一种是非模型的图像增强方法，通过增强图像的对比度，满足主观视觉的要求来达到清晰化的目的;另一种是基于模型的图像复原方法，它考查图像退化的原因，将退化过程进行建模，采用逆向处理，以最终解决图像的复原问题。目前通过增强的方式来进行透雾处理典型的方法包括：直方图均衡化、滤波变换方法和基于模糊逻辑的方法。直方图均衡化方法，其中全局化方法运算量小但对细节的增强不够;局部均衡方法效果较好，但可能引入块状效应、计算量大、噪声被放大及算法效果不易控制的问题，其视频处理效果如图2所示。滤波变换的透雾算法，通过局部处理能获得相对较好的处理结果，但它们的计算量巨大、资源消耗多、不适于实时性要求较高的设备。基于模糊逻辑的方法透雾的效果不够理想。

　　除以上特性功能外，力维还推出了背光补偿功能、强光抑制功能、电子防抖功能、低照度功能等。背光补偿功能逐渐被宽动态功能所取代;强光抑制功能常用于夜间车牌定位和识别;电子防抖动功能可消除画面抖动引起的拖尾现象，使视频锐利、流畅;低照度功能确保摄像机在超低照度下，仍然可以获取细节清晰的图像。

　　结束语

　　目前，图像信号处理技术在监控行业的研究和应用还处于初级阶段，客观环境复杂多变，要想得到稳定准确的结果还有很多地方需要付出努力。图像信号处理技术的实际应用价值已经引起了行业的重视，特别是在当前监控智能化和高清化的趋势下，数字图像信号处理技术是智能化和高清化最基本的应用单元，它的性能好坏直接影响到整个视频监控系统的质量。为此，力维投入了大量的人力和财力进行开发和研究，现已颇有斩获。作者单位：深圳中兴力维技术有限公司

声明:

凡文章来源标注为"CPS中安网"的文章版权均为本站所有，如需转载请务必注明出处为"CPS中安网"，违反者本网将追究相关法律责任。非本网作品均来自互联网，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。