在windows上搭建hadoop

如果你对linux的操作不是很熟悉，或者你只是想在windows上测试以下关于hadoop的接口。在windows上安装搭建hadoop伪分布模式是除了hadoop单机模式的另外一种不错的选择

1.下载hadoop

去hadoop官网，下载hadoop，选择一个适合你的版本。下载后确认一下，在你下载的压缩包的程序内部，在sbin和bin的目录下是否有.cmd结尾的文件。接下来就是和普通的linux上搭建的hadoop伪分布式过程一样。注意在路径的写法上，要将\改为/，还要在盘符的前面加一个/,如：/E:/opensource/hadoop-2.8.5/hadoop-2.8.5/name

2.下载对应的hadoop.dll和WINUTILS.EXE

winutils.exe对于windows的操作是不可少的，hadoop.dll同样也如此。hadoop.dll和winutils.exe放在hadoop目录的bin目录下，下载地址：on github。你也许会发现没有你的对应版本，不用着急，如果你对测试的版本要求不高的话，你可以选择一个比较接近的版本放到你的文件夹中，我是这样做的

3.启动hadoop

对于启动hadoop，为了避免有权限的问题，推荐将cmd用管理员权限进行运行。运行的是否会有一大堆窗口弹出，不要害怕就好，但是你不能关闭，每个窗口就是一个进程，关闭了就会出现错误。在窗口稳定后你就可以在50070看到你的hdfs情况报告了

4.对于windows上运行出现错误

出现错误不要慌，一般你需要做的就是百度，一般会在wiki百科里面有错误提示，如：https://wiki.apache.org/hadoop/WindowsProblems，错误还是说的比较清楚的

5.windows连接hdfs进行操作

推荐使用eclipse进行开发，因为有hadoop2x-eclipse-plugin插件进行开发，下载地址：on github

这个的话除了一些最新的eclipse会安不上的，大部分的eclipse没有什么问题。安装方法你直接放在eclipse的plugin文件夹中再重新启动就好了

至于版本的话在,直接选择下载地址里面的release里面的hadoop-eclipse-plugin-2.6.0.jar进行下载就好，笔者连接没有出现什么问题

（1）打开eclipse,windows->perference,选择Hadoop Map/Reduce，选择你解压hadoop-2.6.0的路径，保存

（2）window->show view->other->MapReduce Tools->点击Map/Reduce Location，点击小象添加一个连接

（3）Location name随意填写，Host是你的集群中master的ip端口号是你在配置文件中配置的端口号。配置好后，你就可以看见你的hdfs文件系统。