在HDFS上创建wordcount用例的目录
指令
python ChangEClient.py fs -mkdir /user/daixin/wordcount
返回结果
Create directory success
在创建的HDFS目录上put运行wordcount的输入数据
指令
python ChangEClient.py fs -put word /user/daixin/wordcount/word
返回结果
Start upload, 1 segs in total
uploading No.1 seg
[{"filename":"word","size":58,"date":"2016-10-28 21:43:04"},{"filename":"cache","size":
4096,"date":"2016-10-27 14:43:22"}]
upload complete.
输入文件word内容如下
Renaissance
Sea
Renaissance
Zaper
Ocean
Renaissance
Zaper
提交Job
指令
python ChangEClient.py jar hadoop-examples-1.0.0.jar word-
count /user/daixin/wordcount/word /user/daixin/wordcount/out
返回结果
Your job id is missionId_282159085539.jar
使用cat指令查看跑完的结果
python ChangEClient.py fs -cat /user/daixin/wordcount/out/part-r-00000
可以看到结果是正确的
Ocean 1
Renaissance 3
Sea 1
Zaper 2
查询job状态
先提交job到MapReduce
python ChangEClient.py jar hadoop-examples-1.0.0.jar word-
count /user/daixin/wordcount/word /user/daixin/wordcount/logout6
返回结果
Your job id is missionId_031638273327.jar
可知这个job的id是missionId_031638273327.jar
接着查询这个job的状态，使用参数 job -ls [job_id]
python ChangEClient.py job -ls missionId_031638273327.jar
返回的结果包括 运行状态 和 MapRecude执行百分比
job执行状态查询
这时候HDFS上也已经有了结果文件
part-r-00000
输出目录logout6中的内容
Kill job
同样，先提交job到MapReduce
python ChangEClient.py jar hadoop-examples-1.0.0.jar word-
count /user/daixin/wordcount/word /user/daixin/wordcount/logout7
返回结果
Your job id is missionId_031653432201.jar
可知这个 job 的 id 是 missionId_031653432201.jar
接着使用返回的 id 对 job 进行 kill 操作，终止执行。
使用参数 job -kill [job_id]
python ChangEClient.py job -kill missionId_031653432201.jar
返回结果如下
message:Killed
app_message:missionId_031653432201.jar killed successfully
说明 job 已经被成功 kill 掉，为了确认job确实终止执行了，我们再次通过job id查询这个job的状态
python ChangEClient.py job -ls missionId_031653432201.jar
返回结果同样告诉我们这个job已经被kill掉了
message:Success
Status:KILLED
App_message:missionId_031653432201.jar was submitted successfully
kill job过程
一段时间后查询hdfs上输出目录下的情况，并没有看到part-r-00000等结果文件，说明job确实被终止执行了，kill job 执行成功。
输出目录logout7中的内容
网友评论