下定决心要往大数据这个坑跳了,原本准备Python一条道走到黑的,但是在看Hive,Spark等资料的时候基本都是Java的,没办法开搞吧。
首先从安装jdk开始;信心满满打开Java官网,wget http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html,各种点击接受同意,瞬间下载完成,什么情况,几百兆的东东在几秒完成,什么时候我的网速这么好了...打开下载好的JDK一看,wo ca,才5kb,顿时心中一万只草泥马蹦腾而过...什么鬼,什么时候下载个jdk都这么复杂了,再来一次,依旧还是5kb,就在尝试了重新各种链接版本下载十几次之后,突然好像恢复正常了,就在得意快要下载好的时候,在下载至99.99%的时候,网速0b/s,猜中了开头没有猜中结尾,这不是打击我的学习热情嘛...
纵里寻他千百度,终于在一个角落里发现了这么一句话,下载jdk要带cookie,what???这是搞事情吗,才开始第一步就来个下马威...,废话太多,贴上解决方案:
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" url
# url为加载的jdk对应版本的网址链接
下载好之后就是开始安装啦:
解压:tar -zxvf tar -zxvf jdk-8u171-linux-x64.tar.gz(压缩包名称)
将解压好的文件放置你想要安装的位置:mv jdk1.8.0_171/ 目标位置 此步骤随意..
配置环境变量: vim /etc/profile 在里面添加以下代码:
JAVA_HOME= **** # 实际安转jdk的目录
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
:wq 保存之后更新: source /etc/profile
检验是否安装成功: Java -version
安装成功JDK之后,接下来就是对Hadoop的安装,在此选择的Hadoop版本是2.9稳定版;
下载地址:https://archive.apache.org/dist/hadoop/common/stable2/
将下载的进行解压安装, tar -zxvf hadoop-2.9.1.tar.gz; 新建一个文件夹,将解压好的文件放入其中;
之后,需要对hadoop中etc目录下的几个文件进行修改,具体配置可参考:
https://www.onexing.cn/detail/12/
https://blog.csdn.net/thinkpadshi/article/details/45720405
PS:如果在配置hadoop环境使用的主机名称,必须在配置hadoop之前配置好对应的hostname,所处目录在 /etc/hosts;之后查看 vim hadoop/etc/salves 中的hostname配置信息;
在配置成功之后,又重新出现了一个比较烦人的问题,那就是启动Hadoop期间,需要输入多次密码,如何解决这个问题,预知解决方案,请看:https://www.jianshu.com/p/dbb84541e89b
网友评论