数据生产:
接入流程、上报地址API对接、埋点规范、埋点内容、数据测试、业务DB
数据采集：
Flume日志， Kafka消息队列， Storm流式计算， 业务DB拉取
数据清洗： 需要基于业务导向、维度、模型，进行相应的清洗
涉及配置中心、调度系统、依赖展示、执行管理
数据仓库
维度建模、分层、ODS、DW、DM、DIM
数据计算
业务描述、统计规则、调度平台、离线计算、实时计算
应用
实时监控、离线分析、精细化运营工具、智能预警及分析、邮件、分析、挖掘
ETL：是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。
数据生产:接入流程、上报地址API对接、埋点规范、埋点内容、数据测试、业务DB 数据采集：Flume日志， Kaf...
zeppelin是一个非常流行的开源数据探索分析平台。提供Web笔记编辑，支持数据驱动，使用 SQL、Scala...
接上篇文章《【1】笔记 之 大数据平台通用架构及技术体系》 如果没有数据，所谓大数据就是无源之水、无本之木，所有技...
前言：好久没写过笔记了，感觉上次写笔记已经是上个世纪（嘿嘿~）;最近工作中要对接饿了么的平台，从饿了么平台抓取数据...
平台数据架构流程图 标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数据平台层级结构...
一、什么是数据平台？ 数据平台字面的意思是“数据+平台”，数据：源于业务又作用于业务，平台：基于数据也服务于数据；...
慕课网《Hadoop大数据平台架构与实践--基础篇》学习笔记 1. 初识Hadoop 历史 Google三驾马车：...
分享提纲 一．引子大数据产品体系介绍二．数据基础平台介绍介绍腾讯数据平台架构介绍阿里数据平台架构介绍数据基础平台的...
这是在天池大数据平台上一个比赛的决赛答辩笔记。比赛的名字：广东工业制造大数据创新大赛，智能算法赛。比赛的初赛...
window里的R与Rstudio数据分析会受限于笔记本电脑的有限内存。因此处理大数据时，需要在linux平台使用...
本文标题：数据平台笔记
本文链接：https://www.haomeiwen.com/subject/ddiyuhtx.html
网友评论