美文网首页
大数据Hadoop的三个组件

大数据Hadoop的三个组件

作者: smartjiang | 来源:发表于2019-04-27 17:33 被阅读0次

    Hadoop的三个组件的组成部分:HDFS叫分布式文件系统,MapReducer叫分布式计算框架,YARN叫分布式资源调度框架。
    为啥HDFS叫系统,MapReduce和Yarn则叫框架?
    框架的架构设计原则上遵循一个重要的原则叫“依赖倒转原则”,依赖倒转原则是高层模块不依赖底层模块,它们共同依赖一个抽象,这个抽象由高层模式定义,由底层模块实现。
    所谓高层模块和底层模块的划分,简单的来讲就是在调用链上,处于前面的是高层,后面的是底层。我们以javaweb为例子用户在请求到达服务器以后,最先处理用户请求的是javaweb容器,比如Tomcat,Jetty,通过监听80端口把HTTP二进制流封装成RequestD对象,然后springmvc框架通过Request 对象里的用户参数提取出来,根据参数处理不同的业务逻辑。在此例子中TomcatSpringmcv就是高层模块。我们看到tomcat和springmvc相互调用,Tomcat的代码里面

    相关文章

      网友评论

          本文标题:大数据Hadoop的三个组件

          本文链接:https://www.haomeiwen.com/subject/kciknqtx.html