华为：大数据技术引领视频监控发展
2013-09-09 11:07:22
来源:CTI论坛
责任编辑: sillyna
收藏本文
视频监控在高清、智能、大联网时代，正面临着数据洪水的冲击，传统的视频体系架构设计思路正在被挑战，本文从大数据技术角度，提出未来视频监控的技术发展建议。
面向大数据的视频监控体系架构
视频监控业务的核心就是数据，数据就是业务本身，那么基于大数据架构，可以给中大型的视频监控项目带来诸多的裨益。
第一，架构更加灵活，伸缩弹性更大。对于一些中大型项目，由于起点的差异，缺乏视频监控架构的顶层设计，后期的扩容升级难免尾大不掉，如在建设初期就引入面向大数据的架构，为业务扩张和管理带来好处。
第二，以廉价通用硬件迎合视频监控数据的爆发性增长。 在面向大数据的架构中，可根据视频监控业务的部署需要，设立多个HDFS集群组成，采集的流数据会被划分成段，并分布于数据节点，这些数据节点可以采用廉价通用型的硬件，由软件技术保证其高可靠性，这种方式避免采用传统高端硬件的模式，大大降低投资成本。
第三，通过高速并行计算实现智能分析和数据挖掘。对于金矿来讲，唯有熠熠发光的金子才是有价值，视频监控数据就犹如这样一座金矿，传统人工和串行的数据筛选方式已在大数据时代不能满足要求。面向大数据的架构原理就是将海量数据分解为较小的更易访问的批量数据，在多台服务器上并行分析处理，从而大大加快视频数据的处理进程。
结合视频监控业务特点，引入Hadoop的架构，以顶层设计的视角来构建面向大数据视频监控架构，将对未来视频监控业务的规划设计产生深远的影响。下面下面简明扼要描述下面向大数据视频监控逻辑架构。
数据源层，包括实时数据和非实时数据。实时数据指IP摄像头和传感器产生的实时流媒体数据。非实时数据指从DVR、编码器、第三方系统导入的媒体数据。
大数据存储层，采用了HDFS和HBASE，实现数据低成本、高可靠的管理。把采集的流视频保存在HDFS集群内，并通过HBase建立访问的索引。把传统NVR和专用存储进行重构，纳入到整体的分布式文件系统中来。
大数据计算层，实现智能分析和数据挖掘。通过MapReduce把对大视频的分析进行分解，充分利用闲置资源，把计算任务交由多台服务器进行并行计算分析，另外一方面，根据智能分析产生的视频元数据，通过Hive挖掘视频元数据的价值信息。
业务及管理层，实现设备和业务管理。基于Zookeeper组成的服务器集群，可以保证业务系统的无故障运营，基于Ganglia实现对摄像头等设备的监管。
基于大数据的视频架构，本质上是把视频数据作为最有价值的资产，以数据作为核心来构建的技术架构，重点解决了海量的视频数据分散和集中式存储并存、多级分布问题，极大提升了非结构化视频数据读写的效率，为视频监控的快速检索、智能分析提供了端到端的解决方案。
大数据视频监控构架带来的价值
大数据视频架构是革命性的技术，特别在实时智能分析和数据挖掘方面，让视频监控从人工抽检，进步到高效事前预警、事后分析，实现智能化的信息分析、预测，为视频监控领域业务带来深刻的变革：
平安城市领域，实时汇总并综合分析各种
公共安全数据和资料，为执法人员快速准确应对提供科学依据：如实时调阅现场视频录像、犯罪嫌疑人记录、同一地区的相似案件资料；进行地理、时间和空间的比较分析，揭示其犯罪模式和行为模式；追踪嫌疑人与其车辆的位置等。指挥人员也可以参照各种数据对不同来源的资料进行综合分析，制作指挥图。
智能交通行业，可以轻松监控摄像覆盖范围内的所有车辆的行驶状态、运行轨迹，快速分析出其是否违章，通过对海量交通数据的比对、分析和研判，实现指定车辆行驶路径、道路拥堵研判等功能。
云服务领域：实现基于大数据的视频监控云服务，让摄像机仅通过互连网就能连接云端的视频监控托管服务，通过快速、智能的分析部署在云端的大数据，为小型企业、零售商店、餐馆酒店等提供实时监控视频和潜在风险管理，甚至能提供收费的基于视频内容的分析报告，如日常的客户数，平均队列长度等，创造新的商业模式。
华为视频监控业务在大数据领域积淀
华为技术有限公司作为世界500强企业，一直以实力和创新能力闻名于世。华为结合业界主流架构Hadoop，创建了属于华为自己的大数据平台解决方案，不仅有用于存储的分布式文件系统，而且是可以在由通用计算设备组成的大型集群上执行分布式应用的框架，已经融入到华为视频监控的体系结构中。华为大数据视频
监控系统具有超大规模容量、跨域资源管理、灵活调度、高性价比海量存储、端到端安全、精细化运维等优点，有效支撑平安城市、智能交通等运营及应用。
华为Hadoop开源组织的影响力
在Yahoo和Cloudera发布的数据中，华为公司在Hadoop重要贡献公司名单内，排在IBM和Cisco之前。从2011年截至到现在，华为贡献到开源社区的问题合计626个，报告问题685个，在Hadoop核心和外围全面、持续积累。
按照业界的公开排名，华为Hadoop团队在全球综合排名第七，在HBase和HDFS社区中拥有2名Committer。华为Hadoop团队的贡献是均衡的，同时在Hadoop内核和周边项目都有贡献。而在HBase和HDFS社区中的2名Committer可以在第一时间为华为带来大数据管理及应用领域前沿技术。
华为大数据视频监控架构的实践
X国刚经过战争洗礼，社会秩序正在重建，治安面临严峻的形势。经过多轮的客户需求的分析和挖掘，华为向客户提供了基于大数据架构的视频监控解决方案，赢得客户的信赖，并超越客户的期望。
首先，针对客户希望通过多个阶段实现由点及面再网的分步建设需求。华为提出基于分布式文件系统的节点架构，可以在摄像头动态增加的情况下，扩展服务器，即可达到单点服务能力的提升，同时不影响业务运营；并且针对新建的点，可以很方面和上一级节点构建隶属关系。
其次，统一管理，分布式存储的需求。由于节点与节点之间，无固定网络，节点与节点之间只能靠无线通信，不具备大容量数据交换的条件。华为提供分布式管理的方案，内容存在节点内，把视频的描述信息汇总到中心节点进行管理，根据中心节点的指令对内容进行管理。
第三，全网智能联动。 当治安事件发生后，通过关键信息，能快速搜寻全网2万多个摄像头记录的信息，传统意义上的智能检索方式已经不能胜任，华为提出并行计算的概念，充分利用各节点闲置计算能力，快速高效实现检索。
总结
“这是最好的时代，也是最坏的时代”——狄更斯 《双城记》。
视频监控进入网络化时代以后，越来越多融入IT新兴技术，大数据技术在视频监控领域的广阔发展路径已经显现，华为正致力于把大数据技术和视频监控业务的完美融合，打造大数据时代的视频监控解决方案。
