美文网首页
伪分布，单节点

伪分布，单节点

作者: 书北 | 来源:发表于2016-10-20 19:51 被阅读0次

    虚拟机系统

    Ubuntu版本：ubuntu-14.04.5-server-amd64.iso;

    实验环境

    创建hadoop用户，SSH免密登录，安装JDK，教程点我；

    安装 Hadoop2.7.3

    # 获取hadoop-2.7.3.tar.gz到当前目录
## 也可以通过Xftp上传到虚拟机
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

# 我们将"Hadoop"安装至"/usr/local/tools/"中
sudo tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/tools

# 切换到安装目录
cd /usr/local/tools

# 将文件夹名改为hadoop
sudo mv ./hadoop-2.7.3/ ./hadoop/

# 修改文件权限
sudo chown -R hadoop ./hadoop/

# 验证操作
cd /usr/local/tools/hadoop

# 由于hadoop直接解压即可使用,输出hadoop版本信息
./bin/hadoop version

    相对路径与绝对路径的区别：

    相对路径：相对于当前目录的路径,例如./、../;
绝对路径：相对于根目录的路径,以"/"开头的路径;
"./bin/hadoop version" <==> "/usr/local/hadoop/bin/hadoop version"

    Hadoop单机配置(非分布式)

    Hadoop默认模式为非分布式模式，无需进行其他配置即可运行；
    非分布式即单 Java 进程，方便进行调试；
    接下来，让我们感受一下 Hadoop 的运行，
    Hadoop 附带了丰富的例子包括 wordcount、terasort、join、grep 等；

    grep的例子：我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 "dfs[a-z.]+" 的单词并统计出现的次数，将结果输出到 output 文件夹中；

    cd /usr/local/tools/hadoop
mkdir ./input

# 将"hadoop"的配置文件作为输入文件
cp ./etc/hadoop/*.xml ./input

# 筛选
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

# 查看运行结果
cat ./output/*

# Hadoop默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 "./output" 目录删除
rm -r ./output

    Hadoop伪分布式配置

    Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行；
    节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件；
    Hadoop 的配置文件位于 /usr/local/tools/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml ；
    Hadoop的配置文件是 xml 格式,每个配置以声明 "property" 的 "name" 和 "value" 的方式来实现；

    Hadoop 配置文件说明

    Hadoop 的运行方式是由配置文件决定的(运行Hadoop时会读取配置文件)，
因此如果需要从伪分布式模式切换回非分布式模式,
需要删除 core-site.xml 中的配置项；
此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程也是如此)，
不过若没有配置 hadoop.tmp.dir 参数,
则默认使用的临时目录为 /tmp/hadoo-hadoop，
而这个目录在重启时有可能被系统清理掉，
导致必须重新执行 format 才行，所以我们进行了设置，
同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,
否则在接下来的步骤中可能会出错;

    配置core-site.xml

    vim /usr/local/tools/hadoop/etc/hadoop/core-site.xml

    <configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/tools/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

    配置hdfs-site.xml

    vim /usr/local/tools/hadoop/etc/hadoop/hdfs-site.xml

    <configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/tools/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/tools/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

    NameNode的格式化

    # 配置完成后,执行 NameNode 的格式化
./bin/hdfs namenode -format
## 若出现SSH提示,输入yes即可
## 成功则会看到"successfully formatted"和"Exitting with status 0" 的提示
## 若为"Exitting with status 1"则是出错

    Hadoop环境变量配置

    配置profile

    sudo vim /etc/profile

    # Java
...
# Hadoop
export HADOOP_HOME=/usr/local/tools/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_COMMON_LIB_NATIVE_DIR"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib:$PATH

    配置hadoop-env.sh

    vim /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh

    # Oracle-JDK,将export JAVA_HOME=${JAVA_HOME}修改为如下
export JAVA_HOME=/usr/local/tools/jdk1.7

# Open-JDK,将export JAVA_HOME=${JAVA_HOME}修改为如下
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

    另外，还可以使用sed命令修改
# Oracle-JDK
sed -i 's#export JAVA_HOME=${JAVA_HOME}#export JAVA_HOME=/usr/local/tools/jdk1.7#g' /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh
# Open-JDK
sed -i 's#export JAVA_HOME=${JAVA_HOME}#export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64#g' /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh

    # 重新加载配置文件
source /etc/profile
source /usr/local/tools/hadoop/etc/hadoop/hadoop-env.sh

    开启NameNode和DataNode的守护进程

    # 启动时可能会出现 WARN 提示,
# 该 WARN 提示可以忽略,并不会影响正常使用(该 WARN 可以通过编译 Hadoop 源码解决);
./sbin/start-dfs.sh

# 启动完成后,可以通过命令"jps"来判断是否成功启动;
jps
## 若成功启动则会列出如下进程: "NameNode"、"DataNode" 和 "SecondaryNameNode";
## 若未列出进程,可运行"./sbin/stop-dfs.sh"关闭进程以后,
## 再开启进程"./start-dfs.sh";

# 针对"DataNode"没法启动的解决方法
## 关闭 hadoop
./sbin/stop-dfs.sh
## 删除"tmp"文件,注意这会删除"HDFS"中原有的所有数据
rm -r ./tmp
## 重新格式化"NameNode"
./bin/hdfs namenode -format
## 启动"hadoop"
./sbin/start-dfs.sh

# 访问"Web"界面
## 注意修改虚拟机IP地址
http://192.168.10.60:50070
## 查看"NameNode"和"Datanode"信息,还可以在线查看"HDFS"中的文件;

    运行Hadoop伪分布式实例

    # 上面的单机模式,"grep"例子读取的是本地数据,伪分布式读取的则是HDFS上的数据;
# 要使用"HDFS",首先需要在"HDFS"中创建用户目录
./bin/hdfs dfs -mkdir -p /user/hadoop
# 将"./etc/hadoop"中的"xml"文件作为输入文件复制到分布式文件系统中
## 即将"/usr/local/hadoop/etc/hadoop"复制到分布式文件系统中的"/user/hadoop/input"中;
## 由于我们使用的是"hadoop"用户,并且已创建相应的用户目录"/user/hadoop",
## 因此在命令中就可以使用相对路径如"input",其对应的绝对路径就是"/user/hadoop/input";
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input

# 查看文件列表
./bin/hdfs dfs -ls input

    # 伪分布式运行"MapReduce"作业的方式跟单机模式相同,
# 区别在于伪分布式读取的是"HDFS"中的文件;
# 可以将单机步骤中创建的本地"input"文件夹,输出结果"output"文件夹都删掉来验证这一点;
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

# 查看运行结果的命令(查看的是位于"HDFS"中的输出结果)
./bin/hdfs dfs -cat output/*

# 还可以将运行结果取回到本地
# 先删除本地的"output"文件夹(如果存在)
rm -r ./output

# 将 HDFS 上的 output 文件夹拷贝到本机
./bin/hdfs dfs -get output ./output
cat ./output/*

# 删除位于 HDFS 中 output 文件夹
./bin/hdfs dfs -rm -r output

    针对实际开发优化

    # 运行程序时,输出目录不能存在
## 在实际开发应用程序时,可考虑在程序中加上如下代码,
## 能在每次运行时自动删除输出目录,避免繁琐的命令行操作
## Java代码
Configuration conf = new Configuration();
Job job = new Job(conf);
/* 删除输出目录 */
Path outputPath = new Path(args[1]);
outputPath.getFileSystem(conf).delete(outputPath, true);

    配置YARN

    YARN概述

    # 有的人可能有疑惑了,为什么启动"Hadoop"后,见不到书上所说的"JobTracker"和"TaskTracker";
# 这是因为新版的"Hadoop"使用了新的 MapReduce 框架(MapReduce V2,
# 也称为 YARN,Yet Another Resource Negotiator);
# YARN 是从 MapReduce 中分离出来的,负责资源管理与任务调度;
# YARN 运行于 MapReduce 之上,提供了高可用性、高扩展性,更多资料请自行查阅;
# 通过"./sbin/start-dfs.sh"启动"Hadoop",仅仅是启动了"MapReduce"环境,
# 我们可以启动"YARN",让"YARN" 来负责资源管理与任务调度;

    配置mapred-site.xml

    # 对文件重命名
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
vim ./etc/hadoop/mapred-site.xml

    <configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

    配置yarn-site.xml

    vim ./etc/hadoop/yarn-site.xml

    <configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
        </property>
</configuration>

    启动YARN

    ./sbin/start-yarn.sh
# 开启历史服务器，才能在Web中查看任务运行情况
./sbin/mr-jobhistory-daemon.sh start historyserver
# 开启后通过"jps"查看,可以看到多了"NodeManager"和"ResourceManager"两个后台进程 

    # 启动"YARN"之后,运行实例的方法还是一样的,仅仅是资源管理方式、任务调度不同;
# 观察日志信息可以发现,不启用"YARN"时,是"mapred.LocalJobRunner"在跑任务,
# 启用YARN 之后,是 "mapred.YARNRunner" 在跑任务;
# 启动"YARN"有个好处是可以通过"Web"界面查看任务的运行情况：
# http://192.168.10.60:8088/cluster
# 但YARN主要是为集群提供更好的资源管理与任务调度,然而这在单机上体现不出价值,反而会使程序跑得稍慢些。
# 因此在单机上是否开启 YARN 就看实际情况了;

    关闭YARN

    # 不启动"YARN"需重命名 mapred-site.xml
# 如果不想启动YARN,务必把配置文件"mapred-site.xml"重命名,
# 改成"mapred-site.xml.template",需要用时改回来就行;
# 否则在该配置文件存在,而未开启"YARN"的情况下,
# 运行程序会提示"Retrying connect to server: 0.0.0.0/0.0.0.0:8032" 的错误,
# 这也是为何该配置文件初始文件名为"mapred-site.xml.template";

    # 关闭YARN
./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver

    相关文章

      网友评论

          本文标题：伪分布，单节点

          本文链接：https://www.haomeiwen.com/subject/ubxquttx.html

          延伸阅读

          深度阅读

          • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

          栏目导航

          热点阅读

          关于我们|服务条款|联系我们|伪分布，单节点|投稿指南|网站地图|RSS订阅|排版工具|手机版

          提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

          Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

          备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

          本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

          所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！