星卡口视频结构化分析检索决定安防平台未来

    【CPS中安网 cps.com.cn】近年来,随着计算机技术和互联网的飞速发展、各种数据采集存储设备的广泛使用以及多媒体工具技术与社交网络的普及,从社会资源和互联网获取的数据量呈现出爆炸性增长,内容涵盖了文本、图像、音频和视频，质量更加精准细致，形式更加多样化,用户获取信息的渠道更加丰富，生活更加便捷。

　　在海量数据中,视频因形式直观内容丰富，已成为一种极为重要的数据形式。据统计,在人类各种感知世界的方式中,视觉感知占据了80%以上。随着视频釆集设备价格更加低廉,视频质量越来越高,图像已被广泛应用到社会的各方各面。其中,来自安防系统的监控视频是一个极为重要的组成部分。如今,视频摄像头在生活中已经随处可见,无论是室内还是室外,小区还是商场,各种社会公安安全场所都有监控系统在发挥作用，尤其是在维护稳定、反恐处突、治安防范、侦查破案、服务群众等工作实践中，视频监控技术在构筑全天候全方位治安防控体系中具有强大的优势。视频监控技术通过实时显示监控区域现场图像和回放历史场景的功能，具有发现犯罪、预防犯罪、威慑犯罪和锁定目标、提供线索、固定证据等重要作用，已经成为继刑侦、技侦、网侦技术之后的“第四大技术支柱”。

　　从2004年开始,我国就开始了平安城市的建设,通过以点带面的监控系统建设,实现摄像机之间的联网和视频数据的共享,为城市安防等提供信息支撑和保障,这要求监控系统实现网络化和智能化。

　　技术方向

　　在智能化的视频监控系统当中,除了基本的人工监视和数据记录以外,更重要的是对监控视频进行智能化的处理,需要对视频当中的人、车和其他重要事物进行识别、检索和行为分析, 并根据结果提供适当的提示。在对视频的智能处理当中,视频检索技术显得尤为基础和重要,面对日益庞大的视频数据,想要快速准确地找到用户感兴趣的内容十分困难。

　　视频检索主要有两种方式：

　　基于文本的检索——通过对视频进行人工标注，将图像信息转换成文本标注(相当于增加标签)，通过文本检索的相关技术如关键字技术进行检索，这种方式对视频信息内容进行了压缩，简化了查询的流程，提高了检索速度，减少了检索的数据量和时间成本，一般对视频信息内容会有语义上的概括，比较适合利用主题查询的场景。但是人工标注耗时较长，受标注者主观影响较大，用户有时并不能准确描述其所想搜索内容的主题，关键字提取困难，而且由于标签难以完全概括视频内容,导致查询的准确度并不高,检索结果差强人意，这也导致了传统的基于文本的视频检索方式越来越不能满足用户需要。

　　基于内容的检索——用户希望的是有形式更为丰富的输入,如不仅限于关键字等,可以利用图例、草图、语音描述等等来作为搜索输入条件。而检索的内容也不限于视频的主题,而可能是视频中某一个场景的故事,某个镜头是否发生了某种事件等等。因此，综合利用数字图像处理、模式识别、图像理解和机器学习等多种技术,通过对视频内容进行语义上的理解，结合视频的前后时段信息，组合用户的各种检索条件实现快速检索，已经成为目前视频检索领域研究和发展的重点。

　　在监控视频系统中,用户往往希望能够精确判断出视频里是否有某个人物,同时能够精确地定位到该人物所在的视频片段。例如在小区中,如果老人走失,就可以根据老人的照片在小区周边的监控视频中根据服饰特征进行检索,及时获取老人走失的时间和最后位置,能够给找到老人带来极大帮助。在目前公安视频联网共享平台的基础上，引入智能视频应用相关技术，将自动提取视频特征与人工标识相结合，关联现有信息综合资源库，与刑侦、技侦、网安、情报等部门信息结合起来，进行大数据处理，建设高效实用的图侦平台，提升视频监控图像在增加识别、智能化感知、主动预警等方面的应用水平，已经成为公安实战应用平台的发展趋势。安防平台的核心和基础是运用大数据和信息技术，建立基础数据平台，达到资源共享和信息共用，才能实现跨区域跨部门的信息分析，为科学决策提供依据。

 　　技术路线

　　面向内容的视频检索技术

　　从组成来看，视频是一系列图像的一个特定排列，每一幅图像称为帧，帧是视频的基本视觉单位。摄像机一次拍摄所形成的帧序列，通常作为视频编辑的基本单位。场景也叫做片段，是由多个语义相关的镜头组成。关键帧是由目标引申出来的某一帧或多帧图像。视频检索是在单个或多个视频里面寻找用户感兴趣的内容并进行定位，找到特定人物所在的视频、人物在对应视频中的位置(如帧信息和时间等)或对应的图像序列。

　　基本框架及相关技术：在基于内容的视频检索中，由于视频往往长度较大，内容分布存在重复和分散的情况，因此在检索当中往往会先对视频进行处理，通过关键倾定位、镜头分割和场景分割等等进行切分，然后提取不同层次的内容，如视觉特征、语义特征等等，再存储特征到数据库中，最后根据用户的查询输入直接和数据库中的特征进行比对，得到结果以后再获取相应的视频信息返回检索结果给用户。整个过程覆盖了多方面技术，如在视频处理模块涉及：关键帖提取、镜头边缘检测、场景分类、视频优化等。在特征处理模块涉及：内容分类、目标检测、目标跟踪、目标匹配、行为分析、数据管理等。在用户查询模块涉及：检索方法、反馈方法等。

　　视频结构化模型

　　为了实现计算机智能化处理视频，需要对视频及其内容建立数据模型。视频的数据模型描述了视频的分割信息和内容信息，是对视频中记录的客观事物及其联系的一种数据表示。视频数据模型应该满足：多层次——视频是连续的图像表示，在不同层次上的划分具有不同的含义表达，因此视频数据模型应该能在多层次上对视频流进行抽象表达。时空性——视频具有时空两种特性，其记录的客观事物也应具有时空特性。独立性——独立性是视频模型的基本要求，在进行数据库存储时,独立的数据模型才可能实现共享和重用。模型索引——视频数据模型应有特定的索引以满足检索要求。现有的视频数据模型从处理内容上可以分为两类：一、视觉内容模型，通过记录视频的时空信息、图像视觉特征等进行表示,包括时间线模型、颜色纹理模型、代数模型等;二、语义内容模型，通过对视频中的客观事物进行语义关系表达来对视频进行表示，提供语义查询的接口，包括对象模型、事件模型等。例如人物结构化表示模型，它是面向对象的视频模型，其建立过程是提取基本视觉特征，并进一步组合和语义化，实现高层语义表达。在检索当中,重要的一环是如何对人物结构化表示模型进行匹配，这种匹配主要是计算人物结构化表示模型当中的视觉特征的差异程度来实现。

　　Hadoop大数据计算

　　从形式上看，数据可以分为结构化数据和非结构化数据。大数据时代，绝大部分数据是非结构化的图像和视频数据，大数据在一定程度上就是意味着视频大数据。视频大数据具有5V的特点：Volume(海量)、Variety(多样)、Velocity(高速处理)、Veracity(可信)、Value(有价值)。Hadoop是为解决大数据存储的重要解决方案，它是一个能够处理海量数据的分布式软件框架，由多个元素组成，最基本的是HDFS文件系统和MapReduce处理引擎。Hadoop具有高可靠性、高扩展性、高效性、高容错性和低成本等优点。HDFS文件系统实现了文件的创建、删除、移动和重命名等操作，它由提供元数据服务的NameNode和提供存储块服务的DataNode两大节点组成。MapReduce是针对大数据集的并行计算模型，基于HDFS分布式文件系统实现,主要包括Map(映射)阶段和Reduce(收集)阶段。

 　　应用契机

　　为增强打防管控的系统性、整体性和协同性，切实发挥治安防控的整体效能，2015年初，中办国办先后印发了《关于加强社会治安防控体系建设的意见》,国家发改委、中央综治办、公安部等9部委联合印发了《关于加强公共安全视频监控建设联网应用工作的若干意见》,要求进一步加大视频监控网建设力度，扩大视频监控覆盖范围，加强视频图像领域的关键技术攻关,针对提升视频图像信息应用效能等方面提出了明确要求。通过联网整合各类视频监控资源的公安实战平台，实现对人流、车流、物流的轨迹掌控和相关事件的动态管理，进一步拓宽城市管理和社会治理的渠道，对各级政府部门进一步提高社会管理和公共服务水平，提升大数据条件下打防管控能力，全面构建城市立体化社会治安防控体系提供重要技术支撑。目前公安实战应用平台的建设重心主要包括：前置智能分析和结构化数据上传、构建图像信息数据库、强化视频侦查/态势分析/指挥调度等业务，其中第一点尤为重要。

　　视频作为基础资源，提供了大量的图像信息，但存在如下问题：1)民警主要关注的是图像中的人、车、物、事件等基础情报信息，而实际上监控图像资源中包含大量冗余的数据信息。目前缺少自动提取与挖掘关键信息的手段。2)视频图像占存储空间大，监控视频数据通常只存储一个月，关键信息无法得到长时间保存。前置智能分析技术可以提供基于人车目标的特征提取，实现基于事件的信息挖掘，将结构化数据写入H.264或H.265视频流中回传到中心平台，将图像信息转换成有价值数据，形成视频线索，协助民警快速办案。

　　星卡口技术是前置智能分析的最佳应用

　　针对城市道路监控系统前端摄像机的泛卡口技术，是面向城市治安防控和交通管理的融合型应用。在满足常规道路监控系统对道路断面全覆盖的视频监控需求以及全天候的高清录像需求的同时，实现了全画面视频检测、视频跟踪、车牌识别等多种技术应用，让道路监控摄像机，不仅采集视频，还可以检测抓拍车辆通行轨迹、自动识别提取车辆特征属性(车牌号码、车牌颜色、车身颜色等)。以天地伟业推出的星卡口系列智能道路监控摄像机为例，具备如下特点：

　　具备视频监控、卡口功能，一机多用，支持H.265、H.264 HP/MP/BP、M-JPEG编码，适用场景广泛，

　　采用星光级CMOS传感器，超低照度，无需专用的补光灯可得到清晰的抓拍效果，降低了系统建设成本

　　相比标准卡口视野更广，无需正对车道即可有较高的抓拍率和识别率，安装方式同监控相机立杆，布点方便，施工成本低

　　支持结构化语义，支持智能识别功能：内置车牌识别功能、车牌颜色识别功能、车身颜色识别功能、车型识别功能、车流量统计;支持机非人抓拍

　　抓拍率：白天三车道(从近到远)分别为90%/90%/80%，夜间三车道(从近到远)分别为90%/80%/80%

　　识别率：白天为90%，夜间为80%

　　星卡口技术解决了传统的视频监控系统中，针对海量视频录像，投入大量人力进行人工查证的问题，实现了事后查证到事前防控的转变。它适用于城市道路、主干道、次干道、支路等城市道路环境，主要用于次干道及支路的道路路面监控。建议单台泛卡口摄像机覆盖视场不大于3条车道及以下道路断面。一般有路灯情况时使用自带补光灯即可实现夜间车辆的检测。例如：双向4车道道路断面/两台泛卡口抓拍单元

　　星卡口系列智能监控抓拍摄像机在满足日常视频监控需求的基础上，通过实时智能识别、轨迹跟踪，准确记录过往车辆经过的信息，清晰辨别车身、车牌号、车型等特征，包括机动车经过的地点、行驶方向、经过时间、号牌号码、号牌颜色、车辆类型等内容。同时自动对车辆牌照进行识别，包括车牌号码、车牌颜色和车型等，通过对运动车辆的运行轨迹分析、视频跟踪，达到准确抓拍。车牌识别支持大角度识别，在斜视角度下能提高识别准确率，并具备视频测速功能。传统的车牌识别，车牌字符能够正确分割的前提是车牌图像能够水平，以至于水平投影和垂直投影能够正常进行，泛卡口产品通过智能车牌角度检测、倾斜矫正和图像旋转等高科技手段，达到准确识别出车牌信息的效果。此外，该产品具备非机动车、行人的检测功能，记录信息更全面，这些实时记录的信息，直接传到公安实战应用平台，实现视频结构化数据存储，减少了人工查询海量视频录像的压力，能够快速检索特征信息，定位到指定时间段的视频，提高了公安、交警查办案件的效率。

　　展望

　　现有视频监控网络存在着缺乏深度应用的模式。其应用的瓶颈是视频信息如何高效提取，如何同其他信息系统进行标准数据交换、互联互通及语义互操作。解决这一问题的核心技术即是视频结构化描述，通过视频结构化分析技术和大数据、云计算等技术，实现以机器自动处理为主的视频信息处理和分析，快速提取实时监控视频或监控录像中的视频信息，使得安防平台能够对监控区域的录像文件进行特征分析(如人、车、物、颜色、大小、方向、时间、地点等)，使原来需要数小时查看的文件，以十几倍的速度快速浏览查看。不仅在公安实战系统，视频结构化在其他领域应用也可大显身手，比如社会民生服务应用：例如路况态势发布、安监监测、应急调度、大型活动预案指挥等。路况态势主要实现了对各辖区当前路况状态的统计、不同辖区路况在地图上的分布显;能够选择不同统计方式、统计时间进行辖区、路段拥堵数据统计、拥堵趋势显示，包括拥堵高发区域、拥堵高发路段、区域拥堵高峰时段、路段拥堵高峰时段;安监监测是对每个油、气、危、化重点存储、运输地点和车辆路线的监控，可有效进行提前告警，消除安全隐患，及时处理，为应急决策提供可靠依据;大型活动特勤管理一般用于协助其他单位在举行大型活动时的交通组织、建立特殊运输通道(如消防、超限、危险品车辆运输等)、要人来访时的车队开道和沿途交通组织以及突发事件的交通组织等。此外还可以进行车辆尾号限行管理和通行证管理。

【作者单位：天津天地伟业数码科技有限公司】