智能视频技术及SVAC标准研究

　　这几年，我们在各地调研，和刑侦人员交谈，大家也讲了很多实战的例子。都提到了这个情况：当一个案件发生了，破案人员会把前后24小时甚至48小时的图像全部收集起来，调动大量的警力去看图像，把所有有人出现的图像都挑出来，然后一一排查。这个工作量是非常非常大的。为此，我们专门做一个视频处理软件，就是为了解决如何在短时间内把相关有用的图像归到一起去。大家知道，现在各地方都在不断的建监控项目，摄像头数量越来越多，这中间有以前的视频系统，也有新建的视频系统。这么多的摄像头拍摄了这么多的视频图像，对于某一个案件来说，除了极少数的视频和破案相关，事实上大量的视频都是无关视频。而破案需要的是在最快的时间里，如何从这些海量视频中挑选出你所关注的与案件相关的视频！尤其是在串并案件处理过程中，筛选出相关视频信息条件更加复杂，这是最难的。我们要按照一定要素，如：地域、时间、事件等等，将图像按内容归类，这就需要软件允许用户根据自身的关注需要另分类。这样的智能视频分析管理软件可能才最能发挥作用。用户往往只有在需要的时候才去查看视频资料，而且希望立刻找到想要的内容。如果在这方面有较大的突破，对公安应用具有较强的实际意义。

　　一所研制了一套警务系统智能图像分析系统。并对早期和目前在建的监控系统使用的DVR市场份额占得比较大的厂商产品进行全面测试，以使该系统对所有的视频图像（特别是适应历史视频，破案常常碰到）都能播放，解释并加入图像内容分析，对实时的图像和存储的图像都能够按需处理。能够从这些图像资源里再利用智能视频的算法，挖掘视频线索，来固定和我们破案相关的图像证据，以便快速处理海量视频。从目前试用的效果看，在案件管理，视频库管理、视频预处理，视频检索、视频图像内容分析等方面，能够有限满足综合智能视频分析处理，减少警员工作量，提高处理效率，节省警力，实用效果好，并且能够根据新的警用业务需求拓展新的功能，深受公安一线欢迎。

　　智能视频分析应用的另一些技术难点是如何适应各种环境变化和噪声干扰，如：如何消除树叶摆动的阴影、自然光线的昼夜变化、海岸线上潮汐的变化等各种因素对智能视频分析结果产生的影响；对电视监控所获得的各种低画质图像怎么处理增强，以获得较为清晰的画面质量都是智能视频分析研究要解决的难题；人的行为分析是智能视频分析研究的又一难题，因为人的行为千变万化，无一定之规，那么实现一定的有限规则下的人的行为分析本身就已经很复杂，难度很大。让计算机跟人脑一样聪明，实际是做不到的。神经网络系统的研究虽然已经开展了几十年，但真正的应用还是一个难题，方法大家都在研究，但要真正投入到某一个领域实际应用还要有一个过程。人的行为理解是智能视频领域最具挑战性的研究课题。目前，像是否携带物体、蹲、站、跑等一些简单的行为变化的人体行为图像分析识别系统，在一些特定场景中已经投入使用。可以说这些难题是国际性的研究内容，尚需时日才能很好解决。

　　智能视频分析难，测试、定量评价智能视频分析产品的功能、性能更不容易。大家有没有想过这样一个问题：无论是智能视频分析的前端硬件也好，还是软件算法也好，作为用户，怎么评价它的性能好坏？当一个产品在我们面前演示，我们如何评价其性能和功能？因此，立刻面临的问题就是智能视频分析技术的检测和评估应该怎么办？这个问题很前瞻，国际上研究机构和组织很少，研究成果也不多。这两年，公安部第一研究所和中盾安全技术开发公司专门成立了一个团队在做智能视频分析应用技术的研究。我们认真调研了国内国际近几年在智能视频分析方面的研究现状，针对电视监控图像和公安业务应用场景，进行了不少研究与实验，测试了很多算法和产品，分类积累了一些视频图像库，研究探讨了一些智能视频测试深层次的问题。我在这里提出，想起到抛砖引玉的作用，希望引起相关专家的注意。智能视频的功能检测和定量检测都是需要深入研究的。虽然难度很大，但也必须去研究。只有功能、性能检测技术真正发展了，才能使智能视频分析产品真正应用到实际中去。

　　智能视频测试提出了这样一个问题：在实验室的技术，不管是视觉技术，图像处理技术、人工智能，背景建模等等属于智能视频范畴的技术，怎样变成一个可实际应用的智能视频分析的软硬件产品，且稳定可靠的投放到市场去应用。如何将智能视频分析软件和硬件产品跟电视监控的实际图像结合起来？而不是只和实验室中用到的几段特定图像结合，因为智能视频分析的图像源，必须是电视监控的图像序列。如果不用这样的序列，只适应特定的实验室序列，这样的技术和产品，不是公安警务和社会公共安全实际需要的。

　　目前国内国际市场上的智能视频分析产品，不外乎是硬件软件两个形态。作为用户，怎么认识它？如何确定智能视频分析产品的性能指标是一个很大的难题。从实际应用需求出发，就刚才上面列出的那么多应用，规定出一系列指标，让研制、测试单位遵循，用户能够理解，这样智能视频分析产品才能够真正的投入应用。要确定指标，就必然要研究智能视频的测试。

　　对智能视频测试来说至关重要的环节是什么呢？首先要建立一个有限多的测试图像序列库（理论上需要无穷序列库，那是做不到的。实际上，人们在进行测试研究时，总是测试尽可能多的序列，任何科学研究都是对大量的--即大家认为可得到能实现足够多的数量之数据进行的），当然测试序列要包含各类视频图像，如质量好的视频，质量差的视频，实际电视监控的视频等等。这些图像序列将作为被测智能视频分析软硬件设备的输入图像源。其次，要建立视频测试比较基准。对这个基准的理解，可以天平为例，砝码就是天平的比较基准；视频比较基准的建立，不仅技术难度高而且工作量巨大。可以通过人工一帧一帧去测试并进行标注，也可开发相应的软件把每帧图像定位到某一个智能视频分析单元（如：运动目标）的像素数目、速度、XY坐标等，把这些基准的要素值准确地建立起来并标注清楚，才能为智能视频测试所用。第三步，对被测智能视频分析软硬件产品进行测试，将测试结果和基准结果进行比较，得出一个比较结果。将比较结果输出。这样人们就能对智能视频分析产品做出公正公平科学的评价。用户就能获得一个可信的科学评价结果。经过这样的测试环节，我们才可以说，这个智能视频产品（含硬件、软件），达到了一个怎样的水准。这样，用户在使用的时候，才有选择的依据。当然，这测试中间还有许多技术问题有待继续深入研究。

　　智能视频测试的研究工作具有很大的前瞻性和挑战性，我们也是在迭代中摸索进行的。很多研究所，院校也在进行一些相关研究，并且有了一些阶段性的成果。目前，我们已经研究出建立基准的流程，也开发了一些相应的软件，建立了一些测试基准数据，但要完成整个智能视频测试研究，建立整套测试程序和测试方法，还有很多过细的艰苦的科研工作要做，尚需各大专院校、研究机构和一所一道，共同开发研究，欢迎各位业内专家献计献策，共同参与。

　　五、SVAC标准介绍

　　SVAC标准是《安全防范视频监控数字音视频编解码技术要求》的简称，该标准涉及的技术学科多，综合性强，编制过程严谨复杂，测试实验环境要求高，参编单位多，由于本次论坛时间有限，不能向大家一一介绍SVAC标准编制进展和技术细节，只介绍SVAC标准的里程碑事件和要点，详细情况请关注TC100网站和SVAC标准编制组发布的相关资料。

　　1、编制SVAC标准的意义和目的

　　胡锦涛同志在切实提高公安机关“四种能力”的讲话中指出：“提高维护国家安全的能力、提高驾驭社会治安局势的能力，要坚持打防结合、预防为主，全面推进社会治安防控体系建设”，视频监控系统在社会治安防控体系建设中占有重要地位。目前已有的音视频编解码标准，都是针对广播电视和大众娱乐方面应用的，在安全防范领域直接采用具有很大的不适应性，国内国际没有专门针对安防视频监控应用的音视频编解码标准，因此，专门制定符合安防视频监控应用需要的、具有我国自主知识产权的音视频编解码标准对社会治安防控体系的建设具有重要的意义。

　　公安部第一研究所结合多年在安防领域的技术积累（包括报警、出入口、电视监控、应急联动等），特别是视频技术在公安业务中的应用研究，在广泛调研的基础上总结、提出了“安全防范视频监控数字音视频编解码需求”，并向国家标准化管理委员会申请立项：制定《安全防范视频监控数字音视频编解码（SVAC）技术要求》，获得立项批准。

　　SVAC标准作为视频监控系统的基础技术标准，为城市社会治安综合防控体系的建设提供强有力的技术支撑，可以解决目前视频监控系统中音视频编解码标准不统一和在视频监控领域采用广电标准而无法满足安全防范中特殊需求的问题。制定一个可自主控制的安防音视频编解码标准，也可以摆脱国外相关标准目前存在的各种专利陷阱，更有利于国内视频监控市场的良性、健康发展。

　　2、SVAC标准名称及归口单位

　　《安全防范视频监控数字音视频编解码（SVAC）技术要求》，国家标准计划号是20075503-T-469；

　　SVAC标准归口单位为全国安全防范报警系统标准化技术委员会（简称SAC/TC100）

　　SVAC标准英文名称： Surveillance Video & Audio  Coding （简写为“SVAC”）

　　3、SVAC标准需求

　　SVAC标准适应安防需求、兼顾原有视频资源，也对低质量的视频信号进行编码；强调现场音视频的还原性，解码后的音视频要尽可能的忠实于原场景。

　　–全天候24小时工作，适应各种天气和环境。

　　–音视频分别封装、存储、播放（同步异步均可）。

　　–支持逐行扫描和隔行扫描。

　　–支持彩色、黑白、红外。

　　现场还原

　　–解码后的音视频信息能够还原并忠实于当时场景。

　　–为音视频信息后续深入应用服务。

　　–支持绝对时间嵌入。 （针对监控场景视音频不一定总是同步）

　　支持智能识别接口

　　–在保证实时视频编码的前提下，支持提取运动目标的基本信息，为智能视频处理（如移动侦测、目标跟踪等）提供接口。

　　码率可动态调整

　　–区分前景背景，对感兴趣区域进行动态码率调整。（运动目标、人脸、车牌、禁区、可疑目标等）。

　　–智能接口的加入，为公安破案、语音识别、人脸识别、视频检索等音视频信息的有效利用奠定了技术基础。

　　4、SVAC标准的核心思想

　　针对监控实际需求，解决监控音视频编码面临的实际问题

　　忠实于场景（scene-based）的音视频编码

　　在保证音视频质量的前提下，提供较高的编码效率

　　在同等性能的前提下，具体算法优先采用具有国内自主知识产权的方案

　　灵活可扩展的架构

　　5、SVAC视频编码方案的主要技术特点

　　支持高精度视频数据，在高动态范围场景提供更多图像细节

　　支持上下文自适应二进制算术编码（CABAC）等技术，提高编码效率