算法和应用的深度整合加速智能视频分析的应用

2010-09-07 11:59:15 来源:CPS中安网作者:lan 责任编辑: xiaolan 收藏本文

　　如图一所示，本方案的核心是2颗DSP处理器――BF536和BF561，其中BF561处理器是主频600MHz的双核处理器，作为协处理器实现H.264/MPEG-4编码算法。BF536是主频300MHz的单核处理器，作为主处理器完成IPCamera的基本功能，包括用户管理、网络协议、数据传输等。除去运行这些功能，BF536的处理能力还剩余80～90%，这使得在BF536运行智能分析算法成为可能。系统工作原理是这样的：模拟视频信号经ADV7180解码后的ITU656格式的信号分别进入BF536和BF561处理器，分别完成视频编码和智能分析工作，智能分析的结果和视频编码后的码流数据组合在一起，通过网络发送出去。如果使用CMOS图像传感器，则跳过ADV7180解码，传感器输出的ITU601格式的数据直接进入2颗DSP处理器。

　　2、智能分析的板级整合

　　对于广大设备厂商已有的IPC、DVS或者DVR设备，板级整合是一个比较有效的途径。已有设备或是因为处理器能力受限，或是因为开发不方便，无法做到处理器级别的整合。Emvideo可以提供智能分析模块实现这些设备的改造。Emvideo提供的模块基于BF536处理器，体积小巧，用户可以方便地嵌入到自己的设备中。用户把智能分析模块看作是一个黑匣子，只需要关注模块的输入、输出接口，而毋须关注内部工作原理。Emvideo智能分析模块如图二。

　　如图二所示，智能分析模块的工作原理如下：首先模拟视频信号CVBS或者ITU656/601数字信号进入模块，规则和各种参数通过UART或者Ethernet设置到模块，然后模块接受启动命令开始进行分析，最后分析结果经过UART或者Ethernet发送到IPC/DVS/DVR主板。

　　3、智能分析的系统级整合

　　系统级的整合是更高层次的应用层面的整合。Emvideo提供智能分析仪产品实现系统级的整合。其工作原理是智能分析仪和IPC/DVS/DVR设备接入同一局域网，共享同一视频源，二者具有不同的IP地址。客户端通过分析仪厂家提供的SDK接口对智能分析仪进行设置，并接收分析结果，然后，将分析结果和视频监控软件集成，或者直接使用分析仪厂家提供的客户端软件进行操作。智能分析仪市场上同类产品较多，其工作原理这里不再赘述。

　　智能视频监控系统的硬件选型

　　前面已经提到智能视频分析的最佳载体是嵌入式设备，即网络摄像机。目前市场上主流的网络摄像机硬件平台包括DSP和SOC两大阵营。DSP包括TI Davinci 6446（ARM+DSP，也可认为是SOC）、ADI Blackfin系列、NXP系列等。SOC主要包括TI DM355、Hisilicon 3510/3511/3512、Grain FIC8120/8161/8180等。这几款方案各有其特点，都可以满足普通网络摄像机的要求。但对于搭载智能分析算法的智能网络摄像机而言，并不是所有的方案都能够满足要求。究其原因，还是智能网络摄像机对硬件平台有更高的要求。笔者认为一个理想的智能网络摄像机硬件平台应该满足以下几方面的要求：

　　1）运算能力强。智能分析过程包括背景建模、连通计算、形态学处理等过程，基本都是对像素逐点进行运算，而且要保证每秒10帧以上的处理能力，运算量非常大。所以强大的处理能力是智能网络摄像机硬件平台的基本要求。在这一点上DSP明显优于SOC处理器。目前SOC多是ARM架构的，ARM处理器的特点是低功耗和体积小，指令优化能力有限。DSP处理器一般具有较强的指令并行处理能力，同时针对像素字节运算具有专门的指令。充分利用DSP的并行处理能力、专用视频指令和高速片上内存以及合理安排DMA操作，可以大大提高算法运算效率。

　　2）编程灵活性好。现阶段智能视频分析技术处于发展过程中，同时智能视频监控系统的实施依赖于具体场景。智能视频分析没有标准的算法，更多的是多算法的融合和对特定场景的调整。因此良好的可编程性是处理器必须具备的条件。

　　3）支持先进的视频编码方式。H.264视频编码以其码率低、标准统一逐渐成为安防监控领域的标准。D1分辨率也是目前编码器的主流配置。双码流的支持会成为智能网络摄像机的发展方向。

　　4）更低的成本。成本控制始终是需要重视的问题。智能视频分析功能的实现最好是在原有平台基础上增加很少硬件成本甚至是不增加硬件成本。

　　综上所述，Emvideo智能网络摄像机硬件平台选择ADI Blackfin DSP处理器，原因如下：

　　1）Blackfin处理器基于ADI与Intel联合开发的MSA架构，集RISC处理器与DSP的优点于一身，既适合密集性运算，又适合做控制使用。Blackfin处理器具有较强的并行处理能力，同时具有专门的视频操作指令，配合片上SRAM和DMA操作，大大提高算法运行效率。

　　2）Emvideo方案采用的双DSP架构，相比ARM+DSP的双处理器架构，开发工具统一，代码兼容性好，更方便开发工作。

　　3）Blackfin处理器支持uClinux操作系统，使得应用程序的开发更方便简洁。

　　智能视频分析算法

　　智能分析技术是图像处理、人工智能、机器视觉等多学科、多领域的交叉应用，基本算法包括背景建模、目标检测、运动跟踪、特征提取、规则判断等步骤，如图三所示。如何有效准确检测出前景目标是智能视频分析算法的关键，目前主流的方法包括差分法、背景模型法、光流法等。差分法的优点是实时性好，对场景的变化适应快，缺点是目标检测不完整，中间有空洞，抗干扰性差，树叶摇动、水波纹等都可能会被误认为是前景目标。光流法的优点是目标检测准确，而且可用于动态背景下的目标检测，缺点是运算量巨大，不适合于嵌入式设备的实时实现。