Hadoop系统学习记录

作者: mr_xl | 来源:发表于2018-04-15 17:39 被阅读0次

Hadoop系统学习记录
hadoop学习记录
大数据Hadoop系统性学习路线图
搭hadoop+hbase（mac单机）
Hadoop学习笔记一：伪分布式搭建（Hadoop1.x）
安装Hadoop On Ubuntu Linux
HDFS实践
Hadoop总结—思维导图
大数据Hadoop入门学习线路图
Hadoop2.7.5伪分布式配置及遇到的问题总结

1.安装Hadoop

1.到官网http://hadoop.apache.org/下载hadoop程序hadoop-3.1.0.tar.gz
2.上传到linux系统中的'/usr/local'目录下, 并用命令 'cd /usr/local'进到此目录下.
3.用'tar -zxvf hadoop-3.1.0.tar.gz'解压文件.
4.进入到'/usr/local/hadoop-2.2.0/etc/hadoop'中修改配置
5.设置(如果出错就改第五步的hostname)
    1.vim hadoop-env.sh
        修改：export JAVA_HOME=/usr/local/jdk1.8.0_161
    2.vim core-site.xml
          <configuration>
            <!--配置HDFS的NameNode的地址-->
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.83.128:9000</value>
            </property>
            <!--配置Hadoop运行时产生的文件的目录-->
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop-2.2.0/tmp</value>
            </property>
          </configuration>
    3.vim hdfs-site.xml 
        <configuration>
             <!--指定hdfs保存数据副本的数量-->
             <property>
                  <name>dfs.replication</name>
                  <value>1</value>
            </property>
        </configuration>
    4.mv mapred-site.xml.template mapred-site.xml  
      vim mapred-site.xml
        <configuration>
          <!--指定hadoop运行在yarn上-->  
         <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>
        </configuration>
    5.vim yarn-site.xml
        <configuration>
            <!-- NodeManager获取数据的方法为shuffle的方式 -->
            <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>
            <!-- 指定resourcemanage(yarn的管理器)的地址 -->
            <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>localhost</value>
            </property>
        </configuration>

6.配置Hadoop到系统环境变量
    vim /etc/profile
        export HADOOP_HOME=/usr/local/hadoop-2.2.0
        export PATH=$PATH:$HADOOP_HOME/bin
    source /etc/profile
7.格式化文件系统
      hdfs namenode -format
    输出：
    ......
    INFO common.Storage: Storage directory /usr/local/hadoop-2.2.0/tmp/dfs/name has been successfully formatted
    ......
    看到has been successfully formatted就是格式化成功了.
8.启动Hadoop
   /usr/local/hadoop-2.2.0/sbin
    单独启动start-dfs.sh和start-yarn.sh
    或者一次启动start-all.sh(要多次输入密码)
9.查看是否启动
    jps
      [root@localhost sbin]# jps
      5057 SecondaryNameNode
      4807 NameNode
      5191 ResourceManager
      5338 NodeManager
      5515 Jps
10.开放访问端口
    设置开放50070t/50075/8088端口
        firewall-cmd --add-port=50070/tcp --permanent
        firewall-cmd --add-port=50075/tcp --permanent
        firewall-cmd --add-port=8088/tcp --permanent
    重新加载防火墙
        firewall-cmd --reload
    查看开放的端口
        firewall-cmd --list-ports
        结果：50070/tcp 8088/tcp 50075/tcp

11.访问
      HDFS管理界面: http://192.168.83.128:50070
      yarn管理界面: http://192.168.83.128:8088

2.上传文件到HDFS中和从系统中下载文件

上传：hadoop fs -put hadoop-2.2.0.tar.gz hdfs://192.168.83.128:9000/hadoop.tar.gz 
下载：hadoop fs -get hdfs://192.168.83.128:9000/hadoop.tar.gz /usr/hadoop-2.2.0.tar.gz

3.多台机器之间ssh免登陆(本地启动hadoop也不用一直输入密码)

1.进入家目录： cd ~
2.进入ssh目录：cd .ssh/
3.生成密钥(确认时一直按enter即可)： ssh-keygen -t rsa
4.会生成两个文件：id_rsa(私钥)  id_rsa.pub(公钥)
5.复制公钥文件为authorized_keys: cp id_rsa.pub authorized_keys (此步为本地启动hadoop也不用一直输入密码)
6.将本机中的authorized_keys复制到想要免登陆的机器上：ssh-copy-id 192.168.8.81(需要输入此机的密码)
7.测试ssh 192.168.8.81  (成功连接, 不需要密码)

总结：想要在哪台机器上免登陆就把自己的authorized_keys文件复制到对方机器的家目录下的.ssh文件夹下就行了

4.使用JAVA对HDFS系统中的文件增删查

千万记得开放端口 50010/tcp
其它开放了的端口 50070/tcp 8088/tcp 50075/tcp 9000/tcp


  // 获得工具
  FileSystem fs = FileSystem.get(new URI("hdfs://192.168.8.80:9000"), new Configuration(), "root");

  // 从hdfs上下载文件
  InputStream in = fs.open(new Path("/456.txt"));
  OutputStream out = new FileOutputStream("E://456.txt");
  IOUtils.copyBytes(in, out, 4096, true);

  // 上传文件到hdfs上
  InputStream in = new FileInputStream("E:/123.txt");
  OutputStream out = fs.create(new Path("/456.txt"));
  IOUtils.copyBytes(in, out, 4096, true);

  // 从hdfs上下载文件
  fs.copyToLocalFile(false,new Path("/456.txt"), new Path("E://789.txt"), true);

  // 删除hdfs上的文件
  fs.delete(new Path("/456.txt"));
  // 删除hdfs上的文件夹(递归删除)
  fs.delete(new Path("/456.txt"), true);