视频监控管理平台的关键技术及其实现

 　　随着网络视频监控技术的成熟，视频监控开始从安防、银行、交通、通信等原有的呈现“孤岛”形式的个别领域向互联互通、运营级视频监控业务等多领域延伸。视频监控业务快速发展，已展现出系统化、规模化的特征，现有运行模式所固有的技术缺陷正在或即将成为视频监控系统发展的瓶颈。首先是媒体分发机制，是否具备高效的媒体分发机制将成为判断视频监控系统优劣的一项重要指标；其次海量视频数据的存储问题，是否具备可以满足海量视频数据安全合理进行存储的结构，关系到系统能否稳定运行；其他还有并发调度问题，业务融合问题，用户控制和业务管理的分级问题，多种业务策略下的实时计费问题等。C3M-Video平台可应对超大规模的视频监控系统，具有灵活的可扩展性，弹性的业务能力，以服务的形式向平台用户提供各种业务，在支持专有行业领域的视频监控的基础上，同时支持面向公众的运营性业务。

　　C3M-Video平台关键技术介绍

　　云计算

　　云计算是分布式计算、互联网技术、大规模资源管理等技术的融合与发展，涵盖了数据中心管理、资源虚拟化、海量数据处理、计算机安全等重要问题。云计算是一种新型计算模式，也是一种新型的计算机资源组合模式，更代表着一种创新的业务模式。云计算是一个快速发展的新概念，目前还没有统一的定义。Buyya等人从面向市场的角度认为云计算是由一组内部互连的虚拟机组成的并行和分布式计算系统，系统能够根据服务提供商和客户之间协商好的服务等级协议动态提供计算资源。WangLizhe等人从云计算系统应该具有的功能角度给出了科学云计算系统的定义，指出云计算系统不仅能够向用户提供硬件服务HaaS(hardware as aservice)、软件服务SaaS(software as a service)、数据资源服务DaaS(data as a service)，而且还能够向用户提供能够配置的平台服务PaaS(platform as aservice)，因此用户可以按需向云计算平台提交自己的硬件配置、软件安装、数据访问需求。

　　云计算可以按需提供弹性资源，它的表现形式是一系列服务的集合。结合当前云计算的应用与研究，其体系架构可分为核心服务、服务管理、用户访问接口3层。核心服务层将硬件基础设施、软件运行环境、应用程序抽象成服务，这些服务具有可靠性强、可用性高、规模可伸缩等特点，满足多样化的应用需求。服务管理层为核心服务提供支持，进一步确保核心服务的可靠性、可用性与安全性。用户访问接口层实现端到云的访问。

　　云计算系统可以根据它提供服务的层次进行分类，主要有提供平台服务的系统(platform as a service，PaaS)、提供软件服务的系统(software as a service，SaaS)和提供基础设施服务(infrastructure as a service，IaaS)的系统。云服务一般是以web服务的形式来实现的。在云中服务的组织和协同可以在面向服务的架构中进行管理。在SOA架构下的云服务可以部署在各种分布式平台上，也可以通过网络访问各种服务。

　　SOA技术

　　IBM将SOA定义为：“SOA是一个组件模型，它将应用程序的不同功能单元通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种各样的系统中的服务可以以一种统一和通用的方式进行交互”

　　SOA包括服务提供者、服务用户、服务中心三个实体。服务用户是发起服务请求的实体，向服务中心查找需要的服务，然后绑定相应服务提供者获得需要的服务功能；服务中心为服务提供者提供注册服务，为服务用户提供服务查询，并将选择的服务提供者的服务授权给服务用户；服务提供者将服务注册到服务中心，并根据服务用户请求执行相应的服务功能。SOA是一种特别适合分布式计算环境中动态地描述、发布、发现和调用的一种架构，可以借助现有的应用来组合产生新服务，为用户提供更好、更灵活的应用程序和业务流程。

　　SOA架构被认为是目前企业级信息系统可靠和高效的建模思想和软件构建方法，通过模块化、集成化、动态组装，使得系统的重用性、可靠性、可扩展性和开发速度大大提高。因此，这种架构能够让组织快速地构件和部署新的应用程序和服务，以及根据组织的需要使用任意的内部和外部服务的组合。

　　SOA技术与云计算的结合

　　云服务一般是以Web服务的形式来实现的。在云计算系统中的组织和资源可以在面向服务的架构中进行管理。在SOA架构下的云服务可以部署在各种分布式平台上，也可以通过网络访问各种服务。近年来SOA得到了相当广泛的关注，但它并不是一个新概念。早期一些基于网络的SOA的例子有RPC、DCOM和ORBs(object request brokers)等，近期的网格计算都是基于SOA的架构和解决方案。

　　SOA架构能够提供支持分布式系统和多代理系统的开发的工具，并以此构建云计算环境。采用SOA技术对云服务进行集成和组合，可构成能解决特定业务问题的可重用的解决方案，基于该解决方案的共享和重用能够简化云服务的集成和组合问题。基于服务的云计算框架主要由三种角色组成：服务提供者、服务消费者和服务代理。

　　1.服务提供者：是网络上的一个节点，它为那些软件服务(执行一组具体操作)的接口提供了访问服务。服务提供者节点提供了对业务系统、子系统和组件的访问服务。由于服务提供者需要同时为Internet上若干的消费者提供网络服务，所以需要服务提供者具有相当强的计算能力，故这里采用云结构来对外提供服务。

　　在面向服务的云计算结构中服务提供者共分为4层：云计算应用接口层、云服务管理层、云服务虚拟机层、云资源服务器层。主要通过云计算接口层对外提供服务用户所需的云服务。云资源服务器层是基于SOA的云计算服务架构的最底层，是云计算结构的核心层，是给上层提供云计算服务的基础设施层。

　　2.服务消费者：也是网络上的一个节点，它与服务提供者提供的一个服务进行了绑定，并且通过使用这个服务实现业务解决方案。

　　3.服务代理：是网络上的节点。它存储了各种服务的描述，它可以被用来查找各种服务所处的位置。服务消费者向服务代理查询它所需要的服务及其服务提供者所处的位置。当所请求的服务是服务代理时，服务代理也经常充当服务提供者的角色。

　　上述三种面向服务的体系结构角色之间的交互是通过以下三种基本操作来实现的：

　　1.发布服务：服务提供者向服务代理发布他们的服务。其发布的信息包括服务的接口定义、服务提供者所处的位置以及其他可能用到的支持信息和文档。

　　2.查找服务：服务消费者向服务代理查找他们需要的或者是想要的服务。

　　3.绑定服务：服务消费者与服务提供者提供的具体服务进行绑定，这个绑定的过程包括用户的身份验证。

　　其他关键技术

　　海量数据存储技术：视频监控管理平台需要对海量的视频录像数据进行管理，这通常通过分布式文件系统来实现。这其中典型的是HDFS(HadoopDistributedFileSystem)。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS可以将文件分成块，并存储在多台机器上。

　　设备的虚拟化访问技术：平台通过协议或SDK的方式接入各个厂家的视频设备，各厂家设备的功能、接口方式、流程、参数都会存在差异，通常使得设备接入部分的代码变得异常臃肿、难以维护、稳定性差。我们采用了虚拟化的访问技术，将各厂家的设备抽象成统一功能、统一接口的虚拟化设备，然后在C3M-Video中采用相同的流程对其进行接入。

　　设备的智能识别技术：平台使用设备接入协议接入设备，只要各厂家设备遵循该协议与平台交互，平台就能通过搜索指定的网络，检测到是否是有设备接入，并通过交互通信而获取到设备类型、厂家类型等信息。从而自动添加设备到数据库中，并通过获取设备的能力集，将设备的功能展现到客户端中。

　　云存储技术：视频数据存储是平台的主要功能之一，我们采用了云计算技术，通过分布式的服务集群、负载均衡等技术实现视频数据的并行存储，并且可以根据视项目需要对服务能力和存储容量进行弹性的扩展。

　　服务的自修复能力：在平台中应用过程监控、运行状态快照记录、数据本地化等手段来实现各个子服务的自修复功能。平台中的网管系统会定时通过主动轮询和被动接收的方式监控各子服务的运行状态信息和告警消息，根据系统内置的状态参数体系判断服务、设备的运行健康状况，在发生异常情况的时候一方面会产生通知告警；另一方面会按照预定义的一系列恢复预案进行状态修正

　　分布式多级缓冲数据库：传统的视频管理平台，都是采用集中式管理数据库，实际上对于日益增长的信息来说，集中式数据库已经日渐成为瓶颈。我们的平台采用分布式多级缓冲数据库，可以比较好地解决这个问题，本平台的数据库架构通过多个分布式的数据访问封装器提供接口，各个服务模块之间通过标准协议交互数据，而不是直接访问底层的数据库。

　　统一视频数据接入网关：针对目前数据传输通道的多样性，例如光纤城域网、ADSL、WLAN、3G、2.5G网络在实际环境中的综合应用，我们的平台开发了一套能够兼容异构网络的视频数据接入网关，并根据不同网络传输的特性进行优化，最大限度提高数据的完整性、安全性。对于目前逐渐得到更多应用的3G移动网络，我们对传输协议进行了底层优化，平滑无线网络的抖动影响；同时还对于数据丢包使用自适应纠错算法，进一步完善数据鲁棒性。

　　C3M-Video平台的实现

　　基于云计算技术的视频监控管理平台C3M-Video是在C3M通信局站综合管理平台框架基础上，开发的具有视频监控管理功能的平台软件。C3M-Video的推出，扩展了我公司产品的市场业务范围，支撑公司在视频监控领域的发展，为公司拓展物联网建设、国家应急体系建设、平安城市建设、智能交通建设、智能电网建设等高端视频监控应用领域提供具有竞争力的产品。

　　C3M-Video视频监控管理平台包括视频后台服务、平台功能接口、业务呈现等几个部分。视频后台服务提供基于云计算的视频监控服务功能，并通过协议接口与外部调用者进行通信；平台功能接口则在视频后台服务的基础上，结合对业务流程的分析，将相关的功能流程封装成SDK的形式；业务呈现界面根据用户对业务、功能、定制等各方面的需求，对视频监控功能进行组合和呈现，提供最终客户使用。

　　C3M-Video平台的核心是视频服务，包括设备接入、数据存储、流媒体转发，依靠平台管理服务的调度，以云服务的形式提供海量数据的运算和存储。平台通过调用云服务的访问接口，获得相应的服务功能，组合成多种视频监控应用，用户可以按需使用这些应用。

　　同时，C3M-Video平台制订了相应的接入协议，用于与视频设备、外部监控系统进行对接。采用了先进的设备智能识别技术，在网络内搜索并识别设备的类型，以方便地接入到平台中。C3M-Video平台创新性的将云计算系统中的关键技术：虚拟化技术，应用到对所管理的规模化视频监控系统的虚拟化访问上，通过虚拟化访问，保证了品牌繁多、架构各异、视频码流格式不同的众多视频监控子系统，被抽象成相同的接口，通过插件的方式实现对各类不同设备的动态支持，平滑的接入到C3M-Video平台中来。

　　基于SOA的云计算架构，C3M-Video平台除了能支持专有行业领域的视频监控，还能支持面向公众的可运营业务。这意味着C3M-Video能应对超大而且随时可能扩展的监控规模，很容易地实现监控规模的扩展。同时，还具有弹性的业务能力，通过分层的架构，将相关的功能聚合成新的业务，并以灵活的形式向平台用户提供该业务的应用流程。

　　基于SOA的云体系框架，以健雄职业技术学院数字校园云为例，进行了云团的设计与实现，如图4所示，教师、学生、部门、领导等作为云端用户，通过终端设备到校园云服务平台中心查找需要的云服务，然后绑定到相应的服务接口层，校园云服务平台中心是由一台高性能的服务器计算机负责；云端用户找到相应的服务，根据服务描述和服务位置，选择相应的服务接口层，它由网络中一个节点计算机负责；服务接口层将用户请求发送给业务调度层，业务调度层可以判断用户身份、请求类型和安全验证等，接受对合法请求并调度计算服务层中相应服务，调度管理层由一组分布式网络服务器计算机组成，软件控制过程使用WebService服务处理技术；计算服务层根据调度选择并执行相应的服务去处理用户任务，自动访问、分配、使用物理服务层的服务资源，它也是网络中一组分布式节点组成，包括教务、科研、人事、学生管理、财务等各种服务和云存储管理服务；物理服务层是由校园数据中心和高性能计算机组成，主要通过高性能计算、强大存储、海量的数据为整个云团的服务处理提供底层服务。

　　结束语

　　(C3M-Video)视频监控管理平台，采用了基于SOA架构的云计算平台，并创新性的将虚拟化技术、海量数据存储技术、系统自修复技术等先进技术融合进视频监控管理平台中，成功解决了规模化视频监控系统所面临的技术困境，达到了国内领先水平，为规模化视频监控系统的未来发展指明了方向。