MapReduce的架构
提交MapReduce程序提交到哪里去？？？
提交到JobTracker运行程序中！！！
这里的任务是指： maptask 或者 reducetask
1、一主多从架构
2、主JobTracker
负责调度分配每一个子任务task运行于TaskTracker上，如果发现有失败的task就重新分配其任务都其他节点上。每一个hadoop集群中只有一个JobTracker，一般它运行在Master节点上。
3、从TaskTracker
TaskTracker主动与JobTracker通信，接收作业，并负责执行每一个任务，为了减少网络带宽TaskTracker最好运行在HDFS的DataNode上。
JobTracker是可以指定任意一台机器的，TaskTracker是必须在DataNode节点上的，因为是移动计算而不移动数据，这个TaskTracker就相当于计算，DataNode上存放着数据，所以TaskTracker必须在DataNode节点上。
JobTracker的工作只做管理和分配，不进行计算，所以随便找一台机器作为JobTracker就可以了
配置TaskTracker
找到hadoop配置文件conf/mapred-site.xml 这个是hadoop的核心配置文件
Paste_Image.png
然后编辑内容如下：
555.png
配置后启动，如图：启动成功：
666.png
eclipse hadoop插件安装
google搜索 hadoop eclipse 1.2.1 jar 就可以搜索到，放到eclipse插件中即可。
我这里eclipse版本为： 4.4.1
使用的hadoop插件下载 hadoop插件地址
插件和eclipse版本还是有对应关系的,如上对应关系即可，把下载到的插件copy到eclipse的 plugins中，
然后重启eclipse。
启动eclipse，新建Map/Reduce Project,配置hadoop location.验证插件完全分布式的插件配置截图和core-site.xml端口配置
配置信息：
444.png
配置完成以后可以在eclipse中对应的信息：
555.png
然后可以进行一些增删改查文件的操作：具体演示视频参考youtube上的讲解
网友评论