海量视频智能分析研判系统

　　中科院李子青博士2010年提出视觉物联网（Visua Internet of Things, VIOT），其核心为物联网视觉标签系统，对环境中主要物品 “人、车、物”及其事件进行分析，识别目标的静态属性标签，和动态行为标签。属性标签主要是视频中的运动对象的静态属性，如运动目标的颜色、形状和纹理（如衣服是豹纹还是格子衫）等低层特征，以及头饰，眼镜、发型、配饰等特征。此外，还包括运动目标的类别属性（如行人，自行车，小汽车，公交车，大卡车等类别，以及行人的性别，年龄，种族等分类），和特定属性（如行人身份，以及车辆车牌号等）。行为标签是用来描述视频数据中的运动对象的运动信息和行为信息，如运动对象的运动方向、运动速度是属于运动标签，徘徊、闯禁区、闯红灯、损害公物、乱涂乱画等是公共场合下的特定行为标签。

　　视觉标签的提取将构成对运动目标的多模态的、全方位的描述。这些信息将保留在海量视频情报库中，构成快速视频检索的关键要素，是VSearch的技术核心部分。

　　目标属性提取

　　目标属性（视觉标签）提取是VSearch的基础技术，要求对环境中主要物品 “人、车、物”及其事件进行分析，识别目标的静态属性标签，和动态行为标签。分两步：目标检测和目标描述。

　　目标检测把视频里活动的目标一一检测和分割出来，并跟踪其在单个场景里的活动。在实际监控场景中，由于摄像机视角的不同以及环境光照的变化，对精确的行人、车辆检测和分割提出了较高的要求。作为智能视频分析中的核心问题，VSearch拥有业内领先的专利技术，对由于摄像机视角，光照，和动态背景变化，以及目标物体内在的表象变化（比如人的动作和衣著，以及车的类型和颜色）等引起的复杂的运动视频能够实现精确的行人、车辆检测、分割和跟踪。

　　VSearch的宗旨是从视频里分割出来的目标不能有遗漏，这也是公安业务中最关心的功能，否则可能会丢失有重要价值的信息。其次是控制虚警。虚警太多不但影响后续模块的处理，也影响分析研判的效率。

　　目标描述由静态属性标签和动态行为标签组成。属性标签主要是视频中的运动对象的静态属性，VSearch提取的属性标签包括：

　　（1）时间属性：运动目标活动的时间；

　　（2）空间属性：运动目标活动的空间位置；

　　（3）底层特征属性：如运动目标的颜色、形状和纹理特征（如衣服是豹纹还是格子衫）；

　　（4）装扮属性：如帽子，头饰，眼镜，发型，配饰等特征；

　　（5）类别属性：如行人，自行车，小汽车，公交车，大卡车等类别，以及行人的性别，年龄，种族等分类；

　　（6）特定属性：如行人身份，以及车辆车牌号等。

　　行为标签是用来描述视频数据中的运动对象的运动信息和行为信息的，VSearch提取的行为标签包括：

　　（1）运动标签：如运动对象的运动方向、运动速度和运动轨迹；

　　（2）特定行为标签：如徘徊、闯禁区、闯红灯、损害公物、乱涂乱画等是公共场合下的特定行为标签。

　　视觉标签的提取将构成对运动目标的多模态的、全方位的描述。VSearch提取的这些信息将保留在海量视频情报库中，构成快速视频检索的关键要素。