美文网首页
第三章 大数据平台的架构体系

第三章 大数据平台的架构体系

作者: etheon | 来源:发表于2019-04-18 16:47 被阅读0次

大数据基础设施

1.虚拟化
服务器虚拟化,存储虚拟化,网络虚拟化,桌面虚拟化
2.云计算
私有云,社区云,公共云,混合云
IaaS,PaaS,SaaS
3.数据中心


数据采集

1.系统日志采集
chukwa,Flume,Kafka,Scribe
2.网络数据采集:非结构化数据
爬虫
3.其他数据采集


数据存储

SQL,NOSQL,NewSQL
1.结构化数据存储
2.非结构化数据存储


数据处理

数据挖掘,深度学习,社交计算,计算广告。
1.离线批处理
MapReduce
2.实时交互计算
Spark
3.流计算
Storm


数据交互展示

1.数据可视化基础
2.数据可视化模式
科学可视化,信息可视化
3.数据可视化工具
D3,ECharts,Tableau


大数据应用


运营管理


安全管理

相关文章

  • 墨叽第十二聚 || 大数据产品体系构建

    分享提纲 一.引子大数据产品体系介绍二.数据基础平台介绍介绍腾讯数据平台架构介绍阿里数据平台架构介绍数据基础平台的...

  • 架构流程图

    平台数据架构流程图 标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数据平台层级结构...

  • 第三章 大数据平台的架构体系

    大数据基础设施 1.虚拟化服务器虚拟化,存储虚拟化,网络虚拟化,桌面虚拟化2.云计算私有云,社区云,公共云,混合云...

  • 魅族大数据运维平台实践

    一、大数据平台介绍 1.1大数据平台架构演变 如图所示魅族大数据平台架构演变历程: 2013年底,我们开始实践大数...

  • 魅族大数据运维平台实践

    一、大数据平台介绍 1.1大数据平台架构演变 如图所示魅族大数据平台架构演变历程: 2013年底,我们开始实践大数...

  • 魅族大数据运维平台实践

    一、大数据平台介绍 1.1大数据平台架构演变 如图所示魅族大数据平台架构演变历程: 2013年底,我们开始实践大数...

  • 【2】笔记 之 大数据平台--数据源

    接上篇文章《【1】笔记 之 大数据平台通用架构及技术体系》 如果没有数据,所谓大数据就是无源之水、无本之木,所有技...

  • 胡海洋:Hive Metastore Federation 在滴

    桔妹导读:本文来自滴滴基础平台大数据架构离线引擎组,针对内部hive元数据上亿级别存储方案的实践;该架构体系从根本...

  • #P401 个人技术体系核心框架

    个人技术体系核心框架 1.DB 数据库、表结构、关系的搭建 2.平台 Java平台工程架构的搭建 3.接口 Jav...

  • 数据平台通用架构

    最近了解了一些其他公司的数据架构体系,感觉大体上都差不多,根据公司的具体场景也绘制了一个比较通用的数据平台架构,算...

网友评论

      本文标题:第三章 大数据平台的架构体系

      本文链接:https://www.haomeiwen.com/subject/dcefbqtx.html