1.搭建hadoop环境
这步网上的文章一大堆，下面是简化版的操作步骤
（此处省略一个免密钥登陆的过程，百度上有很多）
第一步：下载java_jdk 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html，下好之后解压到/usr/local/java/路径下，这时你的/usr/local/java/路径下应该有一个jdk开头的文件。
接下来将设置bash环境变量
输入命令：vim ~/.bashrc
文件末尾加入
export JAVA_HOME=/usr/local/java/jdk1.8.0_151
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
接着保存退出
为了让文件生效需要输入 source ~/.bashrc
在终端中输入Java -version可以看到java的版本等信息，证明已经安装成功
第二步：下载hadoop-2.7.3 下载地址 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/ 下载hadoop-2.7.3.tar.gz就行了，下载好后，解压hadoop-2.7.3.tar.gz到/usr/local/路径下 ，之后重命名hadoop-2.7.3为hadoop
接下来继续设置环境变量
输入命令 vim /etc/profile
文件末尾加入
JAVA_HOME=/usr/local/java/jdk1.8.0_151
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
接着保存退出
输入命令 source /etc/profile 使文件生效
在终端中输入 hadoop version可以看到hadoop的信息，证明安装成功
第三步：配置hadoop文件
简单说一下单机环境的原理，hadoop由三个框架组成hdfs + mapreduce + yarn，在hdfs由namenode和datanode组成，文件上传hdfs后会被切块保存在datanode中，namenode的内存中保存着的datanode中文件的目录，单机环境中namenode和datanode都是本机。yarn负责分配计算资源可以不用计较太多，只需要把mapreduce的分配工作交给yarn就行了。
输入命令 cd /usr/local/hadoop/etc/hadoop/中，可以看见一堆文件，他们大多都是hadoop的配置文件。
输入命令 vim hadoop-env.sh 找到JAVA_HOME=${JAVA_HOME}把它改成JAVA_HOME=/usr/local/java/jdk1.8.0_151
输入命令 vim core-site.xml ，在<configuration></configuration>之间加入
<property>
<name>dfs.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
输入命令 vim hdfs-site.xml，在<configuration></configuration>之间加入
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/tmp/dfs/data</value>
</property>
输入命令 vim mapre-site.xml.template，在<configuration></configuration>之间加入
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
保存退出后，需要将mapre-site.xml.template 重命名为 mapre-site.xml
输入命令 vim yarn-site.xml，在<configuration></configuration>之间加入
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
第四步 输入命令 hadoop namenode -format 格式化一下namenode中的信息，之后输入命令start-all.sh，即可打开hadoop的所有服务。
在命令行中输入jps，可以看到namenode/datanode resourcemanager等各种服务已经起来了，证明单机环境已经配置成功。
2.eclipse环境配置
hadoop环境起来了，但是我们要怎么来使用hadoop呢？hadoop支持很多语言，java就是其中一种（这其实是废话，因为hadoop就是java写的）。hadoop提供了很多原生的api供我们使用，比如FileSystem，Configuration中有很多的接口，但是我们在使用hadoop时还需要对它们进行包装一下，这样比较安全，也能实现更多的功能。
在编写java程序时，我们需要把他打包成jar文件，eclipse能够帮助我们快速的把一个Java项目打包成一个jar包。当然还可以直接在eclipse中进行调试。
首先下载一个eclipse，下载地址：https://www.eclipse.org/downloads/download.php?file=/oomph/epp/oxygen/R2/eclipse-inst-linux64.tar.gz
下载之后直接解压得到一个eclipse文件夹，并且下一个插件hadoop-eclipse-plugin-2.7.3.jar
把下载好的hadoop-eclipse-plugin-2.7.3.jar放到eclipse文件夹中的plugins中。
打开eclipse，点击导航栏里的window的preferences
在左侧选择hadoop Map/Reduce，在右侧中设置hadoop的文件路径为/usr/local/hadoop
点击window中的Open perspective，在其中选择Map/Reduce
然后点击下方的Map/Reduce Location，右键下方的空白，点击New HadoopLocation
在跳出的对话框中进行如下设置：
现在在左侧的Project Explorer中的DFSLocations已经连接到了本机的HDFS中，可以在这里管理HDFS中的文件。
在导航栏中选择File->New->Project，选择Map/ReduceProject。
点击NEXT
点击FINISH。右键Project Explorer中的WordCount中的src，点击new，点击class。
点击FINISH。在MyWordCount中输入下面的代码：
package org.apache.hadoop.examples;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class MyWordCount {
public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens())
{
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable>
{
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException
{
int sum = 0;
for (IntWritable val : values)
{
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception
{
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "word count");
job.setJarByClass(MyWordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
在代码中点击右键，点击Run as，选择 Run Configuration，设置Main和Arugments
保存关掉，之后把文件上传到hdfs，使用命令 hdfs dfs -put 你的文件路径 hdfs://localhost:9000/input/ ，右键点击Run as -> run on hadoop，程序就跑起来了，输出可以在DFSlocation中进行查看，refresh后发现多出一个output文件夹，输出结果就在里面。
我们接下来尝试将Java工程打包成jar文件，通过hadoop jar命令来使用这个Jar包，可以达到同样的效果。首先先把hdfs中的output删掉，在eclipse中删除就可以，也是可以用命令。
之后我们点击导航栏中的file->Export，在弹出的对话框中选择JAVA->JAR file
具体的输出路径自己设置就行了，我自己输出的jar包名字是wc.jar
切换到jar包所在目录，输入命令 hadoop jar wc.jar org.apache.hadoop.examples.MyWordCount hdfs://localhost:9000/input/你的文件 hdfs://localhost:9000/output
OK~大功告成！
网友评论