通过前面几篇,我们已经布置好Hadoop集群环境了。接下来配置eclipse,使用eclipse编写Hadoop代码。
(1)安装好eclipse
省略,参加网上其他博客
(2)找到安装hadoop安装目录下的 contrib/eclipse-plugin的jar文件。这是hadoop给eclipse插件。
(3)找到eclipse的插件目录,安装目录/eclipse/plugins,将第二步hadoop找到的插件,复制到该目录下。
(4)重启eclipse
(5) 打开eclipse
window ->preference -> hadoop Map/Reduce -> Hadoop installation directory
image.png
配置Map/Reduce视图
window ->Open Perspective -> other->Map/Reduce -> 点击“OK”
image.png
在“Map/Reduce Locations” Tab页 点击图标<大象+>或者在空白的地方右键,选择“New Hadoop location…”,弹出对话框“New hadoop location…”,
进行相应配置
image.png image.png
这里配置俩个端口就行。
MR Master和DFS Master配置必须和mapred-site.xml和core-site.xml等配置文件一致。
然后打开Project Explorer,查看DS文件系统。
8.新建MapReduce任务 前提是 启动了 hadoop
image.png
没连接reconnect即可。
然后就可以建立Map/Reduce 项目了
File->New->project->Map/Reduce Project->Next
网友评论