Hadoop 参数

作者: ly稻草 | 来源:发表于2018-05-23 21:18 被阅读0次

    前言:

    Hadoop三个参数文件,我不是很理解,我网上找了一篇学习下

          配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法:

    1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key,配置hadoop集群。

    core-site.xml是全局配置,

    hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。

    2       常用的端口配置2.1  HDFS端口

    2.2  MR端口

    2.3  其它端口

    3       三个缺省配置参考文件说明3.1  core-default.html

    3.2  hdfs-default.html

    3.3  mapred-default.html

    配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法:

    1.选择相应版本的hadoop,下载解压后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key,配置hadoop集群。

    2.浏览apache官网,三个配置文件链接如下:

    http://hadoop.apache.org/common/docs/current/core-default.html

    http://hadoop.apache.org/common/docs/current/hdfs-default.html

    http://hadoop.apache.org/common/docs/current/mapred-default.html

       这里是浏览hadoop当前版本号的默认配置文件,其他版本号,要另外去官网找。其中第一个方法找到默认的配置是最好的,因为每个属性都有说明,可以直接使用。另外,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。

    2       常用的端口配置2.1  HDFS端口

    2.2  MR端口

    2.3  其它端口

    相关文章

      网友评论

        本文标题:Hadoop 参数

        本文链接:https://www.haomeiwen.com/subject/wdlkjftx.html