CSST视频云存储介绍

 　　系统介绍

　　本系统以视频、图片存储和管理为核心的面向大规模数据密集型应用的、可伸缩的分布式文件系统及应用服务，解决平安城市媒体大数据的存储、搜索、共享、获取。整体基于分布式集群架构（基于并行计算、分布式计算和网格计算等技术），将网络中PC、通用服务器及各种存储设备集合起来协同工作，并通过专用数据接口及应用服务，向用户提供海量视频数据存储、管理和访问服务。可提供PB级的存储容量，部署方式上支持全网分散部署，或在数据中心集中部署。在普通PC或通用服务器集群上部署的系统可以达到NAS/SAN的冗余及可靠性，同时又能提供NAS/SAN无法达到的高吞吐量及强大的水平扩展能力。系统针对音视频文件进行特别优化，支持分布式集群架构下的音视频文件帧级别的查询及定位。适合平安城市等解决方案中针对非结构化的海量音视频数据文件，图片文件的存储、管理和访问，提升整体大数据的处理能力。
 

　　系统架构

　　系统特性

　　高可用

　　分布式节点动态感知技术，高效的自动恢复和容错技术，系统冗余技术，多MASTER设计，不存在单点故障，保证了系统的高可用特性。

　　根据用户的安全要求，数据块存在多个副本，保证单个数据节点损坏时不会产生数据丢失。用户可配置数据冗余策略。由于节点当机引起的副本系数低于设定值，将启动副本补全。

　　提供数据有效性检测，防止已经写成功的数据由于磁盘故障导致数据块损坏。

　　元数据管理

　　视频文件的元信息统一有由控制节点存储，云存储将存储海量的文件信息，通过将元信息保存在内存，提高元数据的访问速度。多个控制节点通过协调服务器保存多份元数据，避免了单点问题，使存储系统足够的可靠和健壮。

　　高性能

　　将控制流与数据流分离，提高网络利用率。数据流以管道的模式，在存储节点间线性推送，充分利用每个节点的带宽，避免网络瓶颈和高延时的连接，将数据推送延时最小化。文件以分块方式写入文件系统，用户可以同时读取多个数据块，以提高数据读取效率。

　　数据写入前由控制节点统一调度分配存储节点，可以根据网络的拥堵情况，以及磁盘的利用率来分配存储节点，通过路由算法，为接入设备选择最近的存储节点，减少网络通信，节省带宽，多副本的数据通过在存储节点间使用管道方式发送数据，充分利用网卡的能力。

　　系统提供符合存储特点的负载均衡功能，通过划分Rack，监控各存储节点资源，动态分配算法，达到有效利用系统整体资源的目的。能高效利用系统整体带宽，均衡利用系统资源。

　　垃圾收集机制

　　节点在写入文件时因为网络、磁盘或其它原因导致未完整写入的情况，此时已经存储下来的文件成为一个孤立的文件，需要由垃圾回收机制进行系统自动删除。或者原有已完整写入的文件，因为磁盘原因而损坏，可以标记为失效文件，由垃圾回收机制进行自动删除。

　　快速检索与定位

　　支持分布式集群架构下的音视频文件帧级别的查询及定位。

　　系统内嵌视频索引服务，视频的索引和原始文件无缝集成，可以快速定位视频，关键帧的定位在毫秒级别，为视频实时播放提供良好支持。

　　海量存储与弹性扩展

　　存储系统可支持PB 级的存储容量。

　　当用户数据存储需求增长时，只需要添加存储节点，系统支持热部署，运维简单，可降低运维成本，用户初期可部署少量存储节点，减少启动成本，有利于系统的快速实施，启动。

　　云计算能力

　　云存储中所有机器都可以被调度用于实时计算，根据系统的资源情况参与内部的工作任务，有效的利用了资源，整个系统具有强大的计算能力，为实时转码，智能分析提供强有力保障。

　　其他

　　云存储支持存储节点感知功能，清盘，再均衡，垃圾回收，同时支持多种语言接口等。

 

【供稿单位：中国安防技术有限公司研究院】

  【中安网原创稿件声明】转载中安网文章时应遵循以下三个规则：1、保持原创文章中图表、图片、音视频的完整性；2、完整标注文章作者［文章前后有说明］；3、转载中安网原创中部分内容也要完整标注来源"中安网"，违者本网将依法追究。