美文网首页
Linux下Hadoop的环境配置

Linux下Hadoop的环境配置

作者: Zero兴 | 来源:发表于2018-06-05 10:43 被阅读0次

    下定决心要往大数据这个坑跳了,原本准备Python一条道走到黑的,但是在看Hive,Spark等资料的时候基本都是Java的,没办法开搞吧。

    首先从安装jdk开始;信心满满打开Java官网,wget http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html,各种点击接受同意,瞬间下载完成,什么情况,几百兆的东东在几秒完成,什么时候我的网速这么好了...打开下载好的JDK一看,wo ca,才5kb,顿时心中一万只草泥马蹦腾而过...什么鬼,什么时候下载个jdk都这么复杂了,再来一次,依旧还是5kb,就在尝试了重新各种链接版本下载十几次之后,突然好像恢复正常了,就在得意快要下载好的时候,在下载至99.99%的时候,网速0b/s,猜中了开头没有猜中结尾,这不是打击我的学习热情嘛...

    纵里寻他千百度,终于在一个角落里发现了这么一句话,下载jdk要带cookie,what???这是搞事情吗,才开始第一步就来个下马威...,废话太多,贴上解决方案:

    wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" url

    # url为加载的jdk对应版本的网址链接

    下载好之后就是开始安装啦:

    解压:tar -zxvf tar -zxvf jdk-8u171-linux-x64.tar.gz(压缩包名称)

    将解压好的文件放置你想要安装的位置:mv jdk1.8.0_171/  目标位置    此步骤随意..

    配置环境变量: vim /etc/profile 在里面添加以下代码:

    JAVA_HOME= ****   # 实际安转jdk的目录

    CLASSPATH=$JAVA_HOME/lib/

    PATH=$PATH:$JAVA_HOME/bin

    export PATH JAVA_HOME CLASSPATH

    :wq 保存之后更新:  source /etc/profile 

    检验是否安装成功: Java -version 

    安装成功JDK之后,接下来就是对Hadoop的安装,在此选择的Hadoop版本是2.9稳定版;

    下载地址:https://archive.apache.org/dist/hadoop/common/stable2/

    将下载的进行解压安装, tar -zxvf hadoop-2.9.1.tar.gz; 新建一个文件夹,将解压好的文件放入其中;

    之后,需要对hadoop中etc目录下的几个文件进行修改,具体配置可参考:

    https://www.onexing.cn/detail/12/

    https://blog.csdn.net/thinkpadshi/article/details/45720405

    PS:如果在配置hadoop环境使用的主机名称,必须在配置hadoop之前配置好对应的hostname,所处目录在 /etc/hosts;之后查看 vim hadoop/etc/salves 中的hostname配置信息;

    在配置成功之后,又重新出现了一个比较烦人的问题,那就是启动Hadoop期间,需要输入多次密码,如何解决这个问题,预知解决方案,请看:https://www.jianshu.com/p/dbb84541e89b

    相关文章

      网友评论

          本文标题:Linux下Hadoop的环境配置

          本文链接:https://www.haomeiwen.com/subject/rbcpsftx.html