‘你是做什么的？’
‘数据产品经理’看到对方一脸懵逼之后，再补充一句‘大数据相关的工作’
‘哦～，高大上，不懂’
过去5年，‘大数据’是最火的一个概念，被纷繁解读。在我看来，数据跟石油、煤炭一样是一种资源。这种资源其实很早之前就被发现、被应用。只不过因为互联网的发展，数据这种资源呈现出了‘爆炸式’的增长，而人们也发现了它巨大的潜在价值；预计到2020年，全球数据总量将超过40ZB(相当于40万亿GB)。
所以面对如此‘量大’、‘价值大’的资源，我们需要建立一套从数据采集、计算到服务到应用的‘大数据体系’，就跟‘石油体系’一样有勘探、采集、传输、加工、应用等；由此也萌生出一批‘大数据体系’相关的工种。
阿里巴巴作为距离大数据最近的公司之一，既有丰富的数据资源也有丰富的应用场景，从它建构的大数据体系了解‘大数据’这条生态链的全貌，我认为是比较科学的。
‘阿里巴巴大数据系统体系’设计原则：满足不断变化的业务需求，同时实现系统的高度扩展性、灵活性以及数据展现的高性能。
‘阿里巴巴大数据系统体系’主要分为数据采集、数据计算、数据服务和数据应用四大层次；
数据采集
Web端日志采集技术方案：Aplus.JS
APP端日志采集技术方案：UserTrack
生产业务—>大数据系统传输：
TimeTunnel(TT),既包括数据库的增量数据传输，也包括日志数据的传输；既支持实时流式计算，也支持各种时间窗口的批量计算；
数据同步工具（DataX和同步中心）直连异构数据库来抽取各种时间窗口的数据；
数据计算
MaxCompute-离线计算平台：阿里自研的离线大数据平台，拥有强大的存储和计算能力；
StreamCompute-实时计算平台：阿里自研的流式大数据平台，支持流式计算需求；
OneData-数据整合及管理体系：数据整合及管理的方法体系和工具，大数据工程师在这一体系下，构建统一、规范、可共享的全域数据体系，避免数据的冗余和重复建设，规避数据烟囱和不一致性。
数据服务
OneService-统一的数据服务平台：以数据仓库整合计算好的数据作为数据源，对外通过接口的方式提供数据服务，主要提供简单数据查询服务、复杂数据查询服务和实时数据推送服务三大特色数据服务
数据应用
数据作为新能源，需要通过合适的应用提供给用户，让数据最大化地发挥价值。应用表现可以在搜索、推荐、广告、金融、物流等各个方面。
关注简书账号：阿里云科技快讯并私信小编接口暗号“Hello World”，云栖大会300份干货PPT属于你！
网友评论