近年来,随着物联网、大数据等技术的快速发展,公安机关掌握的数据资源越来越丰富,对于利用数据支撑业务工作的需求也日趋增强。
例如在公安业务场景中,民警会从多个信息系统中查询数据,并依据查询结果进行综合分析,做出判断。如何实现这一操作?传统的方式是民警通过层层审批登录各个相关信息系统,进行数据导出、数据整理、数据整合,最后进行数据的综合展现。这种传统方式,无论是办事效率还是人力成本上,都难以跟上社会发展的演进速度及需求。
对此,公安民警可以借助建设定制化数据融合模型,针对各渠道提供的数据,开展基于业务逻辑的建模、将数据封装成各个应用模块,实现数据融合、用户标识查询、轨迹分析、围栏圈定、围栏预警、同行人分析、人车码识别等模型,并把结果提供给前端应用。
以广州某区公安项目为例。
睿帆科技基于公司自主研发的分布式分析型数据库雪球db以及大数据科学平台baymax产品,通过“三步走”层层推进,进行模型搭建,为该区公安民警业务提供强有力的大数据支撑。
一、ods层:接入厂商采集的数据源,数据存放在雪球数据库。
接入由厂商采集的三大数据源:特征采集日志、场所资料、场所状态、设备资料;加强型wifi、卡口车辆;网吧、终端特征、终端上线、终端下线,并将其存放在雪球数据库中。通过数据库及表操作、表引擎、聚合函数、分析查询、数据字典及视图管理,进行在线多维查询和分布式存储,实现高并发支撑,轻松支撑上百人同时查询;高容错机制,支持跨中心多剧本灾备,数据自动同步、自动恢复;准实时数据更新,百亿级数据可进行实时全景分析;超低查询时延,百亿级数据毫秒级查询等功能,数据超高的压缩比,大大节省了硬件成本。
二、baymax平台层:数据流程计算,模型实现。
借助大数据科学平台baymax,围绕多源异构的海量数据入、存、管、出四个核心场景,提供数据采集、数据汇集数据接入、数据存储等功能,实现各信息数据源的统一汇集、集中存储;通过数据管理、数据质量分析等数据治理,留存原始数据,构建基础原始数据储存,从而落地数据标准,提升数据质量及信息关联分析,形成数据的融合过滤。
三、dm层:模型结果
经过ods层及baymax平台层的处理,形成了dw数据融合模型。融合模型是把数据按人物、时间、地点融合在一起,在融合过程中,若碰到部分数据无法进行融合时,如数据中mac地址有一部分是虚假(认为是随机生成的mac地址)的,这是便需构建一个mac地址识别模型,使得上网数据,认为mac地址的真实的。在此基础上,同时配合baymax,进行数据模型算法处理,抽取转换,最终输出6大应用模块。
l 用户标识查询模型
对查询标识:mac地址、手机号、身份证号、微信号、qq号,按图谱原理进行查询,最终以表的形式返回结果。
l 用户轨迹分析模型
对人物标识活动时间轴、人物活动范围,输入关键信息:人物标识、时间段,按时间位置经纬度处理,画出人物活动的最大多边形,得到边界坐标连结顺序坐标,返回结果。
l 围栏圈定模型
根据输入条件:经纬度坐标组,以同上多边形规则进行圈定。
l 围栏预警模型
根据选定的重点区域,确定该区域中设备id或者场所id组得到位置坐标组。同上述多边形圈定规则,对关注人物进入重点区域后进行预警。
l 同行人分析模型
针对网吧和住宿类场所分析,对重点人物身份标识id,输出结果。
l 人车码识别模型
在融合数据中提取数据与车辆数据表进行关联,实现人车码的识别配对。
公安业务的复杂性及数据来源种类的多样性,导致公安数据融合与深度挖掘的难度成倍增加。而数据融合模型的搭建,打破了业务信息壁垒,实现多维数据的汇集、存储、整合,为公安业务的工作质量和效率打下坚固基础,提供强有力的数据支撑。
随着云基础设施环境逐步成熟,数据标准化程度越来越高,数据融合模型在时代的演变中脱颖而出,数据融合应用需求迎来质的转变。作为国内拥有pb级数据处理核心技术的大数据产品及欧洲杯在线开户的解决方案供应商,睿帆科技将持续深耕大数据核心技术领域,通过创新技术,为更多行业提供定制化数据模型的搭建,实现数据融合,助力提升工作效能。