Windows myeclipse 搭建Hadoop开发环境

1、虚拟机上安装了Hadoop集群，仅仅在Windows下使用MyEclipse调试

2、安装MyEclipse8.5，低版本不行，下载hadoop-eclipse-plugin-2.6.0.jar插件至MyEclipse插件目录

3、启动MyEclipse，调出MapReduce环境，配置属性并连接，即可看到Hadoop文件目录

4、新建MapReduce项目，配置目录至hadoop-2.6.0.tar.gz解压的windows目录，并下载hadoop.dll和winutils.exe至该目录bin下，重启机器（否则后面执行程序报错）

5、修改服务器hdfs-site.xml，添加属性，否则报访问权限错误

  <property>
    <name>dfs.permissions</name>
    <value>false</value>
    <description>
    </description>
 </property>

6、如果报权限错误，需要从源码种拷贝NativeIO.java文件access(2)，直接return true;

7、如果报vm内存错误，则配置vm 参数-Xmx1024m

8、到此为止，wordcount 程序在windows上总算能跑起来了。别忘了最后启动时候，加参数hdfs://hadoop200:9000/tmp/input/ hdfs://hadoop200:9000/tmp/output/

总结：

1、报错就搜索，基本都能查找到原因

2、各种自定义的环境真能折腾人

参考文章：

windows7+eclipse+hadoop2.5.2环境配置

hadoop ：java.lang.OutOfMemoryError: Java heap space

Hadoop 解除 “Name node is in safe mode”

本文摘录于海阔天空的博客，作者: zjg555543，发布时间: 2015-11-15