智能视频内容分析技术概况及功能应用

　　一、需求分析

　　智能视觉分析技术的监控跟踪系统，应具有入侵检测、非法滞留检测、遗弃物检测、物品搬移检测和自动PTZ跟踪等功能。

　　·侵入者一旦进入保护区，可以直接对警戒禁区进行智能视频分析，一旦有物体进入警戒区，就会马上被探测并报警，中心同时联动视频监控（如存储和抓拍）。

　　·可疑人员在某些敏感区域长时间徘徊、游荡行为，超过设定的时间阈值，触发报警。

　　·遗弃物检测功能可以对遗弃物进行自动检测--当物品（包裹、碎块、行李等）在某个防区内被放置或遗弃的时候自动报警。此外，对于有人看管的物品，遗弃物检测模块可以将其忽略。无论是由人携带而来并在防区中遗弃的物品（摄像机看到完整遗弃过程的情况），或者是被人从防区外扔入防区内的物品（摄像机看到部分遗弃过程的情况），还是在防区中突然出现的物品（摄像机完全看不到遗弃过程的情况），系统都可以从场景中正确检测出遗弃物。

　　·物品搬移检测功能可以自动检测物品搬移事件--当防区内某特定位置的物品被拿走或搬走超过一定时间没有放回时发出报警。

　　·自动PTZ 智能跟踪功能，可以使摄像机对自身的云台和变焦镜头进行自主PTZ驱动，并自动控制PTZ摄像机的进行云台全方位旋转和镜头缩放，针对被锁定的运动目标进行视觉导向的自动跟踪，以确保跟踪目标持续以放大特写画面出现在镜头中央，这样警卫人员可以更清晰的看到信息，同时还可以用于事后取证。

　　·在监控中心对重要场所图像进行分析，并能根据需要调整所分析图像。

　　二、系统概述

　　视频内容分析技术源自计算机视觉（CV，Computer Vision）技术。计算机视觉技术是人工智能（AI，Artificial Intelligent）研究的分支之一，起源于Marr的视觉计算理论，它的目的在于在原始图像数据与有关图像的描述之间建立映射关系，从而使计算机能够理解视频画面中的内容。

　　视频监控中所提到的智能视频技术主要用于自动分析和获取视频源中的关键信息。借助计算机强大的数据处理功能，对视频画面中的海量数据进行数据处理，过滤掉用户不关心的信息，为监控者提供有用的关键信息。

　　三、核心技术

　　1、计算机视觉技术

　　其研究目标是使计算机具有通过一幅或多幅图像认知周围环境的能力。这种能力将不仅使机器能感知环境中物体的几何信息，包括它的形状、位置、姿态、运动等，而且能对它们进行描述、存储、识别与理解。计算机视觉，作为一门独立的学科正在受到广泛的重视，计算机视觉已应用于遥感图像分析、文字识别、医学图像处理、多媒体技术、图像数据库、工业检测与军事以及视觉监控等领域。

　　计算机视觉在智能监控中主要是解决摄像机的定标，多个摄像机的协同，基于主动视觉的感兴趣区域划分，景深及目标尺寸估计，目标的运动估计，目标的分类及行为分析，特殊情况报警及控制，系统的动态学习等。目前发展的重点是多个摄像机的协同监控，基于主动视觉的感兴趣区域划分，目标的分类及行为分析，特殊情况报警及控制，系统的动态学习等。

　　计算机视觉技术又可被分为低层视觉技术（Low-level Vision）与高层视觉技术（High-level Vision）两大分支。Low-level Vision要解决特征提取、运动检测、多目标跟踪等基本问题；High-level Vision希望得到对场景的语义理解，比如有关目标运动轨迹的判别，异常行为异常事件的最终结论等等。

　　2、嵌入式芯片技术

　　以DSP为代表的嵌入式技术的迅猛发展，为视觉技术在产业界的应用提供了实现的基础和产品化的保证。由于视频处理高计算复杂度的本质，使得很多年来有关视频处理及压缩的产品化实现都面临计算资源不够的难题。

　　随着芯片技术特别是DSP技术的发展，从本世纪初开始，这些矛盾逐渐得以缓解。德州仪器公司的定点DSP芯片单片处理能力已经达到8GIPS，已经有了符合H.264 Baseline编解码标准的DSP软件实现。嵌入式芯片技术的发展保障了计算机视觉技术的产业化应用。

　　四、主要功能

　　·能够实时检测、跟踪、识别典型场景中（包括室内、室外等）运动目标,并给出其运动行为和事件的自然语言描述，对异常行为进行检测和报警。

　　·实现场景中移动物体（如车或人）的统计和拥堵程度分析。

　　·多摄像机大范围协同监控。

　　·夜间场景智能监控。

　　·对遗弃物进行自动检测，并自动报警。

　　·物品搬移检测功能。

　　·自动PTZ 智能跟踪功能

　　·结合场景信息的语义理解、利用语义信息进行语义存储和语义级别的数据库检索、人机交互等。

　　·可以24小时实时监控纪录数据，并能够智能化地理解判断在场景中没有移动物体或异常行为时减少存储，大大节省存储空间

　　·非法入侵检测，智能分析并报警，联动视频监控。

　　·可疑人员在某些敏感区域徘徊、游荡行为，超过设定的时间阈值，触发报警。

　　·在监控中心对重要场所图像进行分析，并能根据需要调整所分析图像。

 
　　五、组成及介绍

　　通常，智能图像分析系统主要由摄像机、智能视频内容分析前端（简称智能前端）、管理平台以及传输网络构成。智能前端接收摄像机传出的标准视频信号，处理后将关键数据通过传输媒介发送给中心管理平台，由管理平台对不同智能前端发来的信息进行按照用户设定的规则进行综合事件分析与判别，并将反馈的控制信号发送给相应的智能前端。

　　1、智能前端设备

　　智能前端的硬件由DSP、外围支持电路和通信接口三部分组成。
 

　　运行于智能前端硬件上的视频内容分析算法软件是智能系统的核心软件，视频内容分析算法主要包括场景变化监测、目标检测、分类及跟踪算法，负责向中心平台输出包括场景变化数据，形状、大小、颜色、相对速度、轨迹、类型等目标特征数据。

　　2、智能管理平台

　　智能管理平台是后台的核心处理软件，运行于linux操作系统，主要功能包括：

　　·智能规则设定：用户可以自己创立安全规则。该规则被系统自动实时分析处理，并生成相应的报警信息。目前可以设定的规则包括目标穿越禁区线、目标进入感兴趣区域、目标消失或出现、目标被遗弃或拿走等等。

　　·目标计数：对已有规则用户可以添加计数功能，或者创建一个新的规则对事件进行计数。其中计数场景是用户可调节的。

　　·目标预警：目标预警是根据专业安全要求而要开发的一个具有高度智能的模块。这个模块的作用是根据过去事件的发生模式，来确定下一步的规则状态。并且预警模块可以让用户重复应用基于安全要求的规则。

　　·多个摄像机协同：当一个摄像头识别出感兴趣物体后，系统可以要求变焦镜头自动变焦跟踪该目标；当运动物体离开某摄像机监视区域时，系统可通知其他附近摄像机进行联动追踪。

　　六、智能分析系统功能应用

　　1、事件检测报警功能

　　智能分析图像系统可以检测下列交通事件：

　　·车辆停驶,车辆停止移动10秒种以上认为车辆停驶，车辆停驶时间是可调的。（下图是一起停车事件的报警画面）

　　·车辆逆行，车辆在车道中行驶方向和所设定的方向相反。

　　·遗弃物，车辆行驶后路面出现遗弃物，如洒水车洒水。（下图是一个洒水车洒水报警的画面）

　　·行人，有人出现在车道中。

　　·车辆慢行,车辆行驶速度低于设定的报警速度。

　　·交通拥堵，车辆排队长度超过报警设定值。（下图是一个车辆排队长度超限报警的实例，图中的白线为排队长度线）

　　·违章变道，车辆在不能变道的区域变道。

 
　　系统可以自动检测出上述事件，自动进行录像。系统报警时会向服务器发送一个消息。系统还可以针对车道对所需检测的事件进行设置，可以检测全部事件，也可以检测其中某些事件。每种事件都可以通过设置来改变参数。

　　2、交通参数检测报警功能

　　智能分析图像系统可以检测车道流量、平均车速、平均车道占有率、队列长度、平均车头间距、车辆分型（2类）等交通参数。下图是北京二环上某断面上全天按小时输出的流量图。
 

　　流量和平均车速的输出时间缺省时间隔为5 分钟，这个间隔是可以调整的最小间隔为1秒。系统可以对得到的数据进行简单的统计分析，可以通过计算给出平均车道占有率、平均车头间距等交通参数。

　　如果出现队列长度超过阈值和车速超过阈值超过时,系统可以自动报警，下端主机系统会向服务器发送一个消息。

　　下图是交通参数统计界面，系统可以对得到的交通参数进行简单的统计分析，通过给界面可以对流量、平均车速、队列长度、平均车头间距、车道占有率等交通参数进行简单的分析，分析的结果可以输出多种形式的统计图，如柱状图、折线图、立体图。

　　3、系统自诊断报警功能

　　智能分析图像系统可以通过网络对视频信号中断、网络通信故障、设备CPU温度过高、CPU风扇损坏、固定位置的摄像机发生移动等情况自动向服务器报警。

　　针对以上故障系统有报警日志记录，系统可以通过文字和图形两种界面对设备的运行状态进行了解。下图是系统状态监控界面和系统日志内容。

　　

系统状态监控主界面

　　

系统日志查看界面

 
　　4、录像储存功能

　　智能分析图像系统可以对产生的事件进行录像记录，检测设备单台可以存储事件记录2500个以上(按每个事件长度为5分钟计算)，记录的长短，事件录像的提前量的时间都是可以调整的。下图是事件记录主界面，可以通过直接的点击，查看事件的录像记录。

　　管理员可以进行人工录像。录像格式采用标准MPEG4，录像文件可以使用通用的视频播放器进行播放。下图时使用window系统的播放器播放的停车事件的录像记录。

　　5、智能图像系统管理功能

　　·系统可以对事件的录像进行管理，包括排序、查询、转存、观看。

　　·系统支持对系统操作人员的管理，下图是用户管理的界面，可以对用户进行简单的管理。

　　·可以对Vroad的系统的检测参数进行设置，包括工作方式、检测事件类型、车道检测内容等。下图是对道路的主要检测。

　　·系统可以根据时间、摄像机编号、事件类型进行统计查询。

　　·系统支持WEB方式进行访问查询。