城市大数据洞察需要有平台、技术、工具、数据资源、人才等条件支撑。这个和先前城市统计相比有如下差异:
信息化统计只需要一个可以容纳一定数据的平台就可以开展,而大数据洞察必须要要在大数据级别的平台上展开;
信息化统计用到的技术主要保证关联畅通就可以,而大数据洞察必须用到特定的大数据技术。
作为城市公共安全中,公安领域作为首要的城市安全守护者,其中也分别对应到信息化侦查和大数据侦查。信息化侦查只需要用一些信息或少数的数据,而大数据侦查用到的海量的大数据级别的数据。
一、大数据侦查平台
大数据侦查平台是有特定含义的。它既包含了大数据平台本身,也包含了大数据和大数据侦查技术。
•它的基本特点是能够容纳来自不同渠道、格式多样的大数据量级数据而且可以在该平台,上进行数据的可视化处理。
•大数据处理包含数据的收集、采集、存储、抽取、检查、转换、整合、加工、挖掘,通过搜索、比对,分析轨迹、关系,研判重要对象,预测、打击犯罪等。
二、大数据侦查技术
什么是大数据呢?“维克托,迈尔十舍恩伯格(2013) 从价值的角度对大数据进行了界定,强调大数据是从海量数据中提取到的价值和服务。
通常认为大数据有5V的特点: Volume ( 大量)、Velocity ( 高速)、Variety (多样)、Value ( 低价值密度)、Veracity (真实性)。概括起来,即具有体量大、结构多样、时效性强等特征。
大数据最开始技术是GFS、MapReduce、BigTable等技术。关于大数据技术可以从纵横两方面来理解:
•从纵向看,大数据的运用过程通常经历“数据准备、数据存储与管理、计算处理、数据分析和知识展现五个阶段”。从侦查实践看,我们认为大数据运用包含数据的获取、整理、分析、利用、审查、检验鉴定、展示等过程。
•从横向看(流程),大数据存储、计算和分析技术是关键。
三、大数据侦查工具
工具是技术得以具体应用的重要载体,从大数据运用纵向流程看,数据获取、存储、整理、计算、分析等环节都需要相应的工具。
1、大数据获取工具
随着传感器、5G以及IOT的发展,数据获取渠道增多带来了新数据通道工具。当数据拥有者向企业和用户提供数据时,需要流通平台与市场工具。例如阿里的数据魔方和数据超市就是一种流通平台。当政府需要开发数据时,也需要流程平台的支持,例如政府数据开发平台和数据交易市场。
2、大数据存储工具:基于GFS,Hadoop的HDFS奠定了大数据存储技术的基础。
3、大数据整理工具:整理是一个复合词, 数据整理包含数据抽取、检查、清洗、转换、整合、加工、挖掘等动作。
4、大数据计算工具:MapReduce和Storm等提供了并行计算的能力。
5、大数据分析工具:传统的OLAP技术和数据挖掘技术,都难以应付大数据的挑战。一是执行效率低,传统数据挖掘技术都是基于集中式的软件架构,难以并行处理。二是难以应对非结构数据。
所以大数据分析工具需要在半结构化、非结构化数据上取得突破。
四、总结展望
个人从事数据行业快6年时间,未来必将是一个人机互动的世界,可能虚拟世界这个词汇,在将来很大可能成为现实,并彻底人与人之间的链接方式。
网友评论