1.什么是hadoop
hadoop中有3个核心模块：
HDFS（分布式文件系统）：将文件分布式存储在多台服务器上
MAPREDUCE（分布式运算编程框架）：多台服务器并行运算
YARN（分布式资源调度平台）：帮用户调度大量的MAPREDUCE程序，合理分配资源
2.HDFS整体运作机制
HDFS（分布式文件系统）：
一个HDFS系统，是由一个运行namenode的服务器和若干运行datanode的服务器组成
http://naotu.baidu.com/file/453b8cdf707ee86f9f54f20dae94e7ac?token=a40bb47082ae1f92
3.搭建HDFS分布式集群
3.1.需要准备多台Linux服务器
1.准备1+N台服务器：1个namenode节点和N个datanode节点
2.修改服务器ip修改为固定的 方法自行百度
3.修改etc下的hosts 将ip与服务器的名称对应上（相当于域名解析）（域名映射配置）
4.关闭防火墙
关闭防火墙：service iptables stop
关闭防火墙自启： chkconfig iptables off
6.安装jdk(自行百度)
（2-6）每台服务器都需要
3.2安装，配置，启动HDFS
3.2.1上传hadoop安装包到各服务器
3.2.2修改配置文件
- 解压至任意位置 演示为root目录下
hadoop的配置文件在：/root/hdoop./etc/hadoop/ - 修改hadoop-env.sh（配置java环境：因为hadoop是java程序需要java环境）
export JAVA_HOME = 你的java jdk目录 （javahome） - 修改core-site.xml (说明你的 namenode在什么地方)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://vm01:9000</value>
</property>
</configuration>
说明：格式为固定写法，name为固定，value中vm01为你想要运行namenode服务的服务器的地址
- 修改hdfs-site.xml (说明你的文件分割记录放在哪个目录，分割的文件放在哪个目录)
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/dfs/data</value>
</property>
<!-- secondary namenode放到非namenode上 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>vm02:50090</value>
</property>
</configuration>
说明：
dfs.namenode.name.dir中的value是指定文件分割记录放在哪个目录
dfs.datanode.data.dir中的value是指定文件的分块放在哪个目录
dfs.namenode.secondary.http-address中的valuevm02是指服务器，50090是端口号（最好不要改）
- 将这些修改过的配置文件复制到其他服务器上（每台服务器都一样）
3.33启动HDFS
要想直接运行Hadoop命令 先要配置环境变量
vi/etc/profile
文件尾部追加
export
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
export
HADOOP_HOME=/root/hadoop/hadoop-2.8.5
export
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
- 初始化namenode的源数据目录
在vm01上执行初始化namenode命令
hadoop namenode -format
这个时候hdfs已经初步搭建完成
在vm01上可以启动namenode和datanode
在其他服务器上可以穹顶datanode
启动namenode命令
hadoop-daemon.sh start namenode
启动datanode命令
hadoop-daemon.sh start datanode
此时可以在window浏览器中访问hdfs提供的web端口：50070
http://192.168.1.101:50070 （运行namenode的服务器的ip）
但是要是有N台datanode那么是不是要在N台上面输入命令启动datanode呢？
当然不是，可以使用HDFS提供的批量启动脚本来执行启动
- 配置ssh免密登录
在主服务器（vm01）执行
ssh-keygen（一顿回车）
ssh-copy-id vm01（第一次需要输入密码）
ssh-copy-id vm0* （依次在主服务器执行以下命令vm02 03 04......）
······
······
如果遇到错误可能是无root登录权限 那么就修改
/etc/ssh/sshd_config文件中 添加一条 PermitRootLogin yes
然后重启ssh服务 sudo service ssh restart
如果还是有错误可能是没有设置root用户密码
那么在root用户下 sudo su
输入命令 sudo passwd 设置密码
这时候就可以免密登录了
修改hadoop安装目录中/etc/hadoop/slaves（把需要启动datanode进程的节点列入
vm-01
vm-02
vm-03
这时候就可以在主服务器上执行：
start-dfs.sh 来自动启动整个集群
如果要停止，则用脚本：stop-dfs.sh（如果提示没有找到命令 那就是环境变量没有配置好，可以在hadoop目录下面的sbin下用 ./ start-dfs.sh或./stop-dfs.sh来执行）
可以自行更改HDFS的分块以及副本数量配置
文件的切块大小和存储的副本数量，都是由客户端决定
所谓的由客户端决定，是通过配置参数来定的
hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：
切块大小的参数： dfs.blocksize
副本数量的参数： dfs.replication
上面两个参数应该配置在客户端机器的hadoop目录中的hdfs-site.xml中配置（每台都需要改）
<property>
<name>dfs.blocksize</name>
<value>64m</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
hdfs命令行客户端的所有命令列表
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
[-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] <path> ...]
[-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] [-x] <path> ...]
[-expunge]
[-find <path> ... <expression> ...]
[-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
[-help [cmd ...]]
[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setfattr {-n name [-v value] | -x name} <path>]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-truncate [-w] <length> <path> ...]
[-usage [cmd ...]]
网友评论