美文网首页
如何获取大数据

如何获取大数据

作者: 发源地大数据交易平台 | 来源:发表于2018-05-10 16:57 被阅读0次

    大数据的概念很早之前就已经非常火热,经过这两年的孕育发展,大数据在国内的热度依旧不减,人人都在谈论大数据,但似乎我们很少能够真正切身感受到大数据产品给我们的生活带来改变或影响,因而不难推测出大数据行业其实一直还在累积蓄力阶段,就目前而言大数据行业在国内还有诸多亟待解决的难题,其中之一便是要突破数据孤岛的禁锢。国内数据孤岛情况严重,市场有巨大的数据需求,但企业却都不愿意将自己的数据共享出来。大数据时代的美好设想都是建立在数据公开共享的基础上,如果数据源都不能获得开放性进展,那么后续的诸多关于大数据的应用根本没法获得实践验证。

    因而出现了数据交易的行为,不同的企业机构乃至个人之间互相交换自己所拥有的数据,从而尽快抵达数据研究的下一阶段。目前数据交易的市场已经逐步火热起来,但依然存在许多问题。现在国内的数据交易市场是完全不透明的,一方面在于企业间数据相对封闭的状态,另一方面也是因为没有良好的交易规范,大家都是在摸着石头过河,没有通用的数据质量及价值衡量标准,不仅如此,交易平台本身提供的服务及收费情况也参差不齐,无形中又导致了用户获取到数据的难度增加。目前人们对大数据的概念认知还是比较丰富的,也会萌发许多关于大数据应用的想法,但是,无论是做科研还是商业应用,都会需要获取基础数据才能进行接下来的步骤。有能力获取到数据的人不知道数据的价值,另外有人愿意花重金却仍旧不知道数据上哪儿买,数据孤岛和交易的壁垒严重影响了国内大数据发展的脚步,数据交易应该促进数据之间的交流,而不应该因为信息不对称成为中间商截取利益的工具。

    笔者整理了一下目前数据交易市场主流的数据交易平台,各有其特点。总的说来,从交易的数据形式上,大致可以将数据交易平台分为两类 : 一类是API调用,一类是数据包交易 。

    api接口是目前数据交易的一个常见手段

    接口商通过各种方法(购买、合作、爬取等等)拿到上游的数据资源,之后融合、清洗(增值),最后形成数据接口提供给下游;api接口解决了数据流通领域的一些重要问题,比如数据可脱敏、比如防止已售商品被倒卖(一定程度上吧,毕竟接口是要求实效性的)、比如版权(其实距离彻底解决还很远...);api经济在国外也有足够的认可度,主要的IT玩家都会通过开放api接口来培养自己的生态,当然也有通过这个赚钱的

    数据接口在一定程度上可以看做设备之间的usb接口,很方便,但不同接口之间的数据不方便融合,而且毕竟不是完整的数据集,不方便处理和分析,不过已经有企业在探索这方面的技术;常见的几家接口商:发源地大数据、聚合数据、haoservice、极速数据、阿凡达数据、showapi,另外有几个api接口的集合平台:阿里云市场、数粮、京东

    数据包交易

    这是争议比较大的领域,数据主要是以数据包的形态存在(可以理解为excel表),所以按理说这种直截了当的交易应该是合理的,但实际过程中存在很多问题,比如数据的确权、质量的不确定、数据资产的流失等等

    政策的风向已经很明显,只要能实现合理合法的交易,数据流通是被鼓励的,但如何界定合理合法现在还非常不明确,市场内的交易商和服务商基本是处于摸着石头过河的阶段(如果对于这种状态没有直观的概念,可以看一下央视的纪录片“激荡三十年”,很可以体现这个市场的现状)

    大部分的数据商和服务商采用了最直接的方式——进行清洗、脱敏之后当做实体商品一样出售(也有很多不做这种预处理的),每个行业其实都有几家主要的数据商,虽然交易方式比较原始,但属于现阶段比较合理的行为;和api接口商一样,数据商也会从上游购进零散、未加工的数据,加工后打包出售数据或数据库的使用权限,赚取不错的利润;随着交易的发展,开始涌现出一批数据包交易的平台(类似数据交易的淘宝):贵交所、数粮、优易、数多多、亚信、中关村数海等等

    其中发源地大数据交易平台

    发源地隶属于上海连源信息科技有限公司旗下品牌。核心团队由来自腾讯、百度、阿里等公司的互联网高管与专家组成。

    发源地大数据交易平台作为国内首个基于人工智能AI技术驱动的大数据交易平台,支持海量数据的分布式采集、计算及处理,从而以机器学习推动数据交易发展,让数据价值最大化。互联网开放数据、企业内部数据通过众包UGC模式采集/接入,进行清洗、过滤、脱敏处理后再交易,以数据和算法规则等形态沉淀在数据交易市场,满足企业对数据分析、数据运营及精准营销等方面的需求。

    数据供需双方可通过发源地平台实现交易,且平台并不对交易双方收取任何佣金。数据需求方可购买现成数据产品或发布数据需求,也可直接使用SaaS引擎进行数据的采集加工;数据供应商和开发者,可在平台发布数据源产品和进行数据算法规则,也可接受需求者发布的定制订单。

    相关文章

      网友评论

          本文标题:如何获取大数据

          本文链接:https://www.haomeiwen.com/subject/ejhtdftx.html