作为一个有6年工作经验的蜘蛛人，已经记不清爬了多少网站的多少数据了，见识到各种各样的数据，在此期间听到看到不少大数据相关的知识点，却又对它们一知半解，故此决定把这些相关技术系统学习一遍并留下学习脚印。
一、下载相关文件
1.JDK下载
3.Windows下安装Hadoop工具下载，提取码：84wg
二、JDK安装
1.JDK安装方法
注：JDK安装路径不能包含空格，否则hadoop找不到JDK
三、hadoop配置
1.解压hadoop到任意目录（我的是放在F:\hadoop目录下）
2.配置环境变量：同JDK环境变量配置
我的电脑：右键->属性->高级系统设置->环境变量->系统变量下新建HADOOP_HOME->Path环境变量中配置%HADOOP_HOME%\bin;
配置完成后点击确定生效
3.修改hadoop配置文件
3.1.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”下的core-site.xml文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/F:/hadoop/workplace/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/F:/hadoop/workplace/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3.2.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”目录下的mapred-site.xml(如果不存在将mapred-site.xml.template重命名为mapred-site.xml)文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
3.3.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”目录下的hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/F:/hadoop/workplace/data</value>
</property>
</configuration>
3.4.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”目录下的yarn-site.xml文件
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
3.5.编辑“F:\hadoop\hadoop-2.7.6\etc\hadoop”目录下的hadoop-env.cmd文件，修改JAVA_HOME为jdk安装目录
set JAVA_HOME=D:\Java\jdk1.8.0_131
3.6.将下载的hadooponwindows.zip压缩包解压，将bin目录中全部文件复制到F:\hadoop\hadoop-2.7.6\bin中，替换全部已存在文件
四、运行hadoop环境
1.打开cmd窗口，执行hdfs namenode -format
2.打开cmd窗口，进入F:\hadoop\hadoop-2.7.6\sbin目录，执行start-all.cmd，它将会启动以下4个进程窗口。
至此，hadoop就启动成功，可以愉快的玩耍啦！！！
网友评论