大数据应用架构下视频监控云存储发展
视频监控数据具有高并发、大容量的特点。以1080P为例,在4Mbps的码率下,中等城市的监控规模一般为数千到数万个摄像头,按5000路计算,并发写入码流为5000路*4Mbps *24小时*60分钟*60秒 ;
大容量
根据公安部要求录像数据在系统中保存30天以上。中等城市的存储容量为:5000路*4Mbps *24小时*60分钟*60秒*30天;
高可靠
视频监控存储系统7*24小时不间断的高压力写入的同时,还必须具有高级别的容错性,存储等硬盘类介质属于电子产品,电子产品或多或少都存在软件或硬件的bug,高压力下的硬盘故障率也会比较高,如果保障故障发生时不造成监控数据的丢失,是视频监控存储管理的重要命题。
在线升级扩容
由于视频监控项目本身在不断发展,系统定期会进行在线扩容和升级,这就要求存储系统具有高度的可扩展性,可在系统中简单便捷地增添存储设备。
信息价值
海量数据和有效数据之间的矛盾。摄像头7*24小时工作,如实记录镜头覆盖范围的发生的一切,仅仅记录信息是不够的,因为对于客户来讲可能大部分信息是无效,有效信息可能只分布在一个较短的时间段内,按照数学统计的说法,信息是呈现幂律分布的,也称之为信息的密度,通常在最短的时间内提供的数据有效性越高,对客户价值越大。
有效信息提取(计算)
在视频监控领域,往往视频分析的效率决定价值,更低的延迟、更准确的分析往往是平安城市这类客户的普遍需求。随着数据量的增加,哪怕对TB级别的数据进行对视频内容的数据分析和检索,采用串行计算的模式都可能需要花费数小时的计算,已远远不能胜任时效性的需求。大数据架构下的存储系统还需要考虑后续的计算模式的匹配。
视频文件目前绝大多数的系统都是采用文件系统的方式进行音视频数据的存储。文件系统有几个最大的问题:
存储设备管理接口不统一
存储资源的管理及分配制度
以文件系统为核心的数据存储方式
1) 文件系统易损坏,写文件会导致文件系统元数据区的频繁持续更新,因此文件系统的元数据区很容易损坏,导致文件系统不可用。
2) 性能问题:文件系统经IO过操作系统的封装,在数据长时期持续写入的情况下,开销要大于直接裸盘写入,降低性能。在磁盘上存在大量录像文件时,系统的录像检索效率会下降很多。另外,磁盘上的大量文件在多次删除重建后,数据在物理磁盘上的位置将变成不连续,导致数据写入的随机性加大,从而降低录像数据的写入性能。
视频存储作为图像数据和报警事件记录的基础载体,重要性是不言而喻的,存储的需求已不仅是一台或几台设备而已,而已提升到了一个解决方案平台的高度。大容量、高并发的视频监控存储系统并不是存储设备的简单堆积,更需要解决监控业务特色的存储机制的完备性、存储标准以及在时间(存储数据处理速度)和空间(存储容量)上的可使用性等问题上满足大容量、高并发等大数据应用架构下的监控存储系统的要求。
“云存储”有许多的定义,大家公认的基本功能有:按需自动服务、资源池、快速灵活、广泛的网络接入等。云存储是通过网络提供的可配置虚拟化存储和相关数据服务,这个服务级别是可以按需要来保证的。云存储的第一个涵义是网络,早期通过云的图示表示网络,这是云存储的由来。“云存储”实际上借助了网络的概念,所以涵括了部分网络在内;另一个含义就是它的服务,虚拟化存储,提供存储池,屏蔽单台存储设备的所有细节,提供传统的存储很难做到按需服务。
宇视科技推出的CDS(Cloud Direct Storage)视频云存储系统,立足于视频监控的业务模式,在传统IT基于文件存储的云存储模式基础上,推出的新的基于裸数据块的视频云直存技术。
声明:
凡文章来源标注为"CPS中安网"的文章版权均为本站所有,如需转载请务必注明出处为"CPS中安网",违反者本网将追究相关法律责任。非本网作品均来自互联网,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
- 第1页:海量视频数据的存储和管理
- 第2页:恒定码流的高并发写入
- 第3页:基于裸数据块的视频云直存虚拟化技
征稿:
为了更好的发挥CPS中安网资讯平台价值,促进诸位自身发展以及业务拓展,更好地为企业及个人提供服务,中安网诚征各类稿件,欢迎有实力安防企业、机构、研究员、行业分析师。投稿邮箱: cps-tougao@cps.com.cn(查看征稿详细)