美文网首页
大数据中间层架构

大数据中间层架构

作者: 七_seven | 来源:发表于2018-07-03 15:56 被阅读0次

大数据中间层:运行在大数据平台基础上的一个层级

主要是client访问层,服务提供层,基础运算层,

client层主要有cli工具,dt工具,外部系统,上层应用。

服务提供层主要有:用户管理、权限控制、元数据、业务处理、负载均衡、接入服务、任务调度、数据传送、访问计费。

基础运算层:hdfs、hive、spark、hbase、yarn

数据共享:用户创建共享资源包,通过共享资源包分享数据给多个用户。

中间层在大数据体系架构中处于应用和底层组件的桥梁位置。缺少了中间层,会缺少对底层集群服务api的抽象和封装,也无法对数据进行封闭和保护。

对内访问进行管控,对外提供统一访问机制,从而作为一个较完善的系统对外部提供服务。

相关文章

  • 大数据中间层架构

    大数据中间层:运行在大数据平台基础上的一个层级 主要是client访问层,服务提供层,基础运算层, client层...

  • Atlas

    介绍 Atlas 是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层...

  • 一张图看明白企业IT架构的云化演进过程

    云计算推动了IT领域的变革浪潮,对各行各业数据中心基础设施的架构演进及上层应用与中间层软件的运营管理模式产生了深远...

  • myCat基础(实现读写分离)

    MYCAT的主要作用: 1. MYCAT是实现了MySQL通信协议的一个分布式数据库系统中间层。 数据库中间层的作...

  • node.js中间层

    node最大的好处 最大的改良架构就是‘增加了中间层’ 前后端分离,使用node来做‘BBF(backend of...

  • 魅族大数据运维平台实践

    一、大数据平台介绍 1.1大数据平台架构演变 如图所示魅族大数据平台架构演变历程: 2013年底,我们开始实践大数...

  • 魅族大数据运维平台实践

    一、大数据平台介绍 1.1大数据平台架构演变 如图所示魅族大数据平台架构演变历程: 2013年底,我们开始实践大数...

  • 魅族大数据运维平台实践

    一、大数据平台介绍 1.1大数据平台架构演变 如图所示魅族大数据平台架构演变历程: 2013年底,我们开始实践大数...

  • 架构流程图

    平台数据架构流程图 标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数据平台层级结构...

  • Ormlite的简单使用详解

    PersonDao.class文件的详细信息,数据库操作的中间层 数据Bean的详细代码 MainActivity...

网友评论

      本文标题:大数据中间层架构

      本文链接:https://www.haomeiwen.com/subject/cccjuftx.html