海量视频智能分析研判系统分析介绍

　　需求分析

　　平安城市建设计划在全国城市建设监控视频设施，部署实施了2000多万摄像头，在社会管理工作中起到了积极的作用。然而，监控视频数据带来的问题日益突出，主要体现在海量视频的有效利用上。2012年南京“1.6”案件发生后，在案件侦破过程中，南京警方从全市1万多个摄像头共提取了近2000T的视频数据，为了处理这些视频，调动1500多名公安干警查阅搜索视频线索，共耗时一个多月。目前视频侦查应用中面临着以下几个重要问题：

　　·视频数据未得到很好利用，人、车、物目标搜索识别，视频分析研判等任务，靠人工进行，无法有效处理海量视频数据;

　　·由于存储容量限制，视频数据存储一个月即删除，关键信息无法得到长时间保存。

　　针对视频设施应用存在的问题，公安部要求：各级公安机关要围绕视频监控技术的深度应用，服务公安实战，提升打防绩效。对监控建设应用的要求，从以硬件建设为主的第一阶段，向以智能应用为主要特征的第二阶段过渡，解决视频调阅慢、分析难的问题，从海量视频中发现重要而有价值的线索，快速识别定位目标，挖掘其行动轨迹，从而缩短办案时间，降低办案人员的工作强度，提高各部门联合作战效率。公安视频侦查、治安、情报等业务部门应该配备具有相应智能分析功能的实战工具和装备，能进行海量视频的智能视频分析、信息检索、特征识别、图像增强、报警与监控。

　　面向公共安全应用，中国科学院自动化研究所、中国物联网研究发展中心(筹)和中科奥森科技有限公司联合对公安视频业务进行了深入调研，认为：解决这些问题的出路是，针对海量视频分析研判，研发智能视频分析、人车物目标识别、目标轨迹挖掘、海量数据分析等前沿高技术，针对公安视频侦查与情报业务，研发面向实战的专业应用系统，由此提升公安业务水平和效率。

　　针对上述迫切需求，在国家科技支撑计划课题和工信部物联网专项的支持下，中国科学院和中科奥森研发了海量视频智能分析研判系统(简称VSearch)。该系统面向公安视频侦查、治安和情报业务专业应用的智能视觉物联网系统，如下图所示，由2个部分构成：(1)视频线索分析建库(后台)，(2)前台视频线索综合研判(前端)。第(1)部分处理分析海量监控视频数据，从中提取出有价值的视频线索并构建海量视频情报库，对视频目标进行多模态、全方位的描述，包括如空间、时间、表象、行为等特征。第(2)部分为公安业务综合研判平台，在海量视频情报库基础上，提供多模态视频线索和信息管理、目标快速搜索，轨迹挖掘、案件串并、综合研判等功能。由此可见，该系统工作方式与Google索引和服务类似，是一个面向中国公安业务的专用智能搜索系统。

　　视频线索分析建库

　　海量视频智能分析研判基于智能视觉物联网的视觉标签系统。第一步是提取出有价值的视频线索并构建出海量视频情报线索库。视频线索提取包括目标检测、目标属性提取、目标关联、和关系挖掘。这些线索构成视频情报库的基本元素，存储在云端供客户端应用随时调阅。

　　中科院李子青博士2010年提出视觉物联网(VisualInternetofThings，VIOT)，其核心为物联网视觉标签系统，对环境中主要物品“人、车、物”及其事件进行分析，识别目标的静态属性标签，和动态行为标签。属性标签主要是视频中的运动对象的静态属性，如运动目标的颜色、形状和纹理(如衣服是豹纹还是格子衫)等低层特征，以及头饰，眼镜、发型、配饰等特征。此外，还包括运动目标的类别属性(如行人，自行车，小汽车，公交车，大卡车等类别，以及行人的性别，年龄，种族等分类)，和特定属性(如行人身份，以及车辆车牌号等)。行为标签是用来描述视频数据中的运动对象的运动信息和行为信息，如运动对象的运动方向、运动速度是属于运动标签，徘徊、闯禁区、闯红灯、损害公物、乱涂乱画等是公共场合下的特定行为标签。

　　视觉标签的提取将构成对运动目标的多模态的、全方位的描述。这些信息将保留在海量视频情报库中，构成快速视频检索的关键要素，是VSearch的技术核心部分。

　　目标属性提取

　　目标属性(视觉标签)提取是VSearch的基础技术，要求对环境中主要物品“人、车、物”及其事件进行分析，识别目标的静态属性标签，和动态行为标签。分两步：目标检测和目标描述。

　　目标检测把视频里活动的目标一一检测和分割出来，并跟踪其在单个场景里的活动。在实际监控场景中，由于摄像机视角的不同以及环境光照的变化，对精确的行人、车辆检测和分割提出了较高的要求。作为智能视频分析中的核心问题，VSearch拥有业内领先的专利技术，对由于摄像机视角，光照，和动态背景变化，以及目标物体内在的表象变化(比如人的动作和衣著，以及车的类型和颜色)等引起的复杂的运动视频能够实现精确的行人、车辆检测、分割和跟踪。

　　VSearch的宗旨是从视频里分割出来的目标不能有遗漏，这也是公安业务中最关心的功能，否则可能会丢失有重要价值的信息。其次是控制虚警。虚警太多不但影响后续模块的处理，也影响分析研判的效率。

　　目标描述由静态属性标签和动态行为标签组成。属性标签主要是视频中的运动对象的静态属性，VSearch提取的属性标签包括：

　　(1)时间属性：运动目标活动的时间;

　　(2)空间属性：运动目标活动的空间位置;

　　(3)底层特征属性：如运动目标的颜色、形状和纹理特征(如衣服是豹纹还是格子衫);

　　(4)装扮属性：如帽子，头饰，眼镜，发型，配饰等特征;

　　(5)类别属性：如行人，自行车，小汽车，公交车，大卡车等类别，以及行人的性别，年龄，种族等分类;

　　(6)特定属性：如行人身份，以及车辆车牌号等。

　　行为标签是用来描述视频数据中的运动对象的运动信息和行为信息的，VSearch提取的行为标签包括：

　　(1)运动标签：如运动对象的运动方向、运动速度和运动轨迹;

　　(2)特定行为标签：如徘徊、闯禁区、闯红灯、损害公物、乱涂乱画等是公共场合下的特定行为标签。

　　视觉标签的提取将构成对运动目标的多模态的、全方位的描述。VSearch提取的这些信息将保留在海量视频情报库中，构成快速视频检索的关键要素。