美文网首页
处理城市公共安全大数据

处理城市公共安全大数据

作者: 晓在IT | 来源:发表于2020-06-21 22:12 被阅读0次

数据获取是大数据侦查的基础,获取各类数据的路径、渠道、方式等各不相同。从当前的大数据运用现状分析,获取公安大数据的渠道主要有以下5种: 一是政府数据共享,二是政府数据开放,三是数据交易流通,四是业务中形成,五是社会信息数据的纳人。

一、 公安大数据平台数据获取

1、公安大数据平台架构
通过建设公安大数据平台,实现数据资源的共享、汇集、融合和关联,实现数据的快速处理、统计及可视化呈现,快速搭建各个层级的分析预测模块,为各级部门掌握辖区社会面总体情况,动态调整勤务模式,有针对性投放警力提供依据。通过建设人物画像、时间轨迹、案件可视化、经济行为等,为公安及政府提供强有力的技术支撑。

2、数据源
公安业务数据覆盖了人、地、事、物、组要素的描述,通过建设类似“数据资源管理平台”,满足了查询和分析的基本需求。
3、数据采集
数据采集又称为数据获取,是从外部采集数据并输入到系统内部的一个接口。ETL工具提供了一种数据处理的通用方案,ODS(Operational Data Source)是操作数据存储的意思,ODS中数据的数据结构、数据粒度、数据之间的逻辑关系尽量与业务系统保持一致,抽取过程只是简单的复制而不做过多的数据转化,从而降低复杂性。TDS是经过整理与转换后的数据存储,是大数据中心最后存储的数据。

二、如何清洗期望的数据

如何清洗?清洗是转化为TDS数据源要求的形式。
其次是数据的清洗转换。也就是将从源数据源获取的数据按照业务需求,转换成目的数据源要求的形式,并对错误、不一致的数据进行清洗和加工。数据清洗是指利用模式识别以及人工智能技术来提高数据质量。
常见的做法有:
1、修正错误。常见的错误有数据拼写错误、错误的日期、不正确的地址、不匹配的地址、缺失的数据、数据重复、数据不一致等。
2、格式变换。如所有日期格式统一为yyy一 mm一dd。
3、赋缺省值。在数据中心中定义取值不为空的字段在源数据源中对应的字段可能存在没有取值的记录,这时根据业务需要直接赋一个缺省值。
4、类型变换。如将源系统的Number类型转为Varchar2 类型等。
5、长度变换。如将源系统中定义的Varchar2(10)转为Varchar2 (20) 等。
6、代码变换。如源系统的某些字段经过代码升级以后,将老的代码转为新的代码等。七是数值变换。如数值单位由万转换为元。
三、如何转换?
数据转换是将数据从操作型格式转换为数据中心格式,更多的是体现数据的业务逻辑性。数据转换分为记录级和字段级。记录级是选择有用的数据,将数据分区、综合、汇总等。字段级是指大多数转换功能只是完成从一种格式到另一个格式的转换,有的转换功能通过一个公式或者逻辑表达式完成转换。转换过程中可能要做到字段合并与拆分、赋缺省值、数据排序、数据翻译、数据合并、数据聚合等。

四、网络数据检索获取

互联网搜索获取数据“就是将与犯罪案件或者犯罪行为人相关的关键词输人互联网进行搜索,并根据互联网反馈信息进行多次搜索分析。通过基本的互联网搜索,一般情况下可以了解某个人的工作、生活等基本信息,有时甚至可以搜索到某个人的手机号、邮箱号、网络账号等较为私密的数据信息。其中最常见的技术是网路爬虫。

相关文章

网友评论

      本文标题:处理城市公共安全大数据

      本文链接:https://www.haomeiwen.com/subject/fyszxktx.html