大数据- hadoop环境安装

0

重新装了虚拟机，一进去记得修改管理员权限
命令参考

1.ubuntu安装jdk

etc/profile 版

ssh
hadoop
hadoop2

这次直接采用命令行安装 参考：2种方式安装JDK

使用ppa/源方式安装
1.添加ppa
sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
2、安装oracle-java-installer
sudo apt-get install oracle-java8-installer
安装器会提示你同意 oracle 的服务条款,选择 ok
然后选择yes 即可
3、查看java版本，看看是否安装成功：
java -version

手动版:ubuntu安装jdk

解压安装包jdk-8u171-linux-x64.tar.gz
tar -zxvf jdk-8u171-linux-x64.tar.gz
将解压后的文件夹移到/usr/lib目录下
切换到 /usr/lib目录下

cd  /usr/lib
并新建jdk目录

sudo mkdir jdk
将解压的jdk文件复制到新建的/usr/lib/jdk目录下来

sudo mv ~/jdk1.8.0_171/usr/lib/jdk
执行命令后可到 usr/lib/jdk 目录下查看是否复制成功

配置java环境变量
这里是将环境变量配置在etc/profile，即为所有用户配置JDK环境。
使用命令打开/etc/profile文件
sudo gedit /etc/profile
在末尾添加以下几行文字：
#set java env
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_171
export JRE_HOME=${JAVA_HOME}/jre    
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib    
export PATH=${JAVA_HOME}/bin:$PATH 

执行命令使修改立即生效
source /etc/profile 

2.安装SSH,设置SSH无密码登陆

参考：ssh

$ sudo apt-get install openssh-server   #安装SSH server
$ ssh localhost                         #登陆SSH，第一次登陆输入yes
$ exit                                  #退出登录的ssh localhost
$ cd ~/.ssh/                            #如果没法进入该目录，执行一次ssh localhost
$ ssh-keygen -t rsa
输入完  $ ssh-keygen -t rsa　语句以后，需要连续敲击三次回车
第一次回车是让KEY存于默认位置，以方便后续的命令输入。第二次和第三次是确定passphrase，相关性不大。两次回车输入完毕以后，如果出现类似于虚线方框输出，即成功。
之后再输入：
$ cat ./id_rsa.pub >> ./authorized_keys #加入授权
$ ssh localhost                         #此时已不需密码即可登录localhost，并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案

3.Hadoop伪分布模式

a)下载hadoop-2.9.2.tar.gz

解压到/usr/local
sudo tar zxvf hadoop-2.7.4.tar.gz -C /usr/local
切换到/usr/local下，将hadoop-2.7.4重命名为hadoop，并给/usr/local/hadoop设置访问权限。（-R为递归的给目录权限，必须）
cd /usr/local
sudo mv hadoop-2.7.4 hadoop 
sudo chmod 777 -R /usr/local/Hadoop

b)配置.bashsc文件

sudo vim ~/.bashrc
·在文件末尾追加下面内容，然后保存。（注意路径）
#HADOOP VARIABLES START 
export JAVA_HOME=/usr/lib/jvm/java-8-oracle (这个路径是用命令行安装的默认路径)
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL 
export YARN_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END 

·执行下面命令，使添加的环境变量生效：
source ~/.bashrc

c)Hadoop配置（伪分布式搭建）

配置hadoop-env.sh

sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

添加如下内容：(注意jdk文件名)

#The java implementation to use. 
export JAVA_HOME=/usr/java/jdk1.8.0_144
export HADOOP=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin

配置yarn-env.sh

sudo vim /usr/local/hadoop/etc/hadoop/yarn-env.sh
·添加如下内容：

# export JAVA_HOME=/usr/java/jdk1.8.0_144 
JAVA_HOME=/usr/java/jdk1.8.0_144

配置core-site.xml，（这里的tmp.dir不用改，是缓存目录）

sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml
插入如下内容
注意：将core-site.xml中原来的有的<configuration> < /configuration >一定要删除掉，不然后面格式化的时候会出错。即.xml文件中只有一个<configuration> < /configuration >对就可以。

<configuration>

        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

同样修改配置文件 hdfs-site.xml：

sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
插入下列内容：（删除原有的<configuration>）

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

配置yarn-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
插入下列内容

<configuration> 
<!-- Site specific YARN configuration properties -->
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
        <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.address</name> 
        <value>127.0.0.1:8032</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.scheduler.address</name> 
        <value>127.0.0.1:8030</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.resource-tracker.address</name> 
        <value>127.0.0.1:8031</value> 
    </property> 
</configuration>

d) 关机重启系统

启动HDFS为分布式模式
格式化namenode

hdfs namenode -format 
start-all.sh    //启动hdfs
jps //出现6个进程则正确

验证
1）在浏览器中输入http://localhost:50070/
2） http://localhost:8088/

搭建成功

datanode没有启动
[解决1]（https://blog.csdn.net/u013129944/article/details/78604651）
[解决2]（https://blog.csdn.net/islotus/article/details/78357857）
成功解决（带命令）
6个出现，成功！

需要装eclipse，但是linux直接装需要1.8的，所以我不得不又升级
解决eclipse不能启动
我觉得应该还会发生问题，因为是不在用户名为hadoop上装的，阿门
在软件中心装的eclipse找不到目录了
还是没能解决，所以决定卸载了手动重装，但是emmm依旧没有出来，尝试了一个晚自习，哎，最后终于出来了
[2]https://blog.csdn.net/qq_36491299/article/details/85060943