Hadoop Streaming是python可以调用于执行MapReduce任务的接口，本人在学习使用时踩了很多坑，也折腾了一段时间，本篇文章主要记录一下该工具的简单使用。

一、介绍

       hadoop streaming 是Hadoop的一个工具，可以用其创建和运行map\reduce作业，程序只要遵循标准输入、输出（stdin读、stdout写）即可。mapper和reducer步骤可以是文件或者可执行脚本。
基本格式如下：

hadoop command [genericOptions] [streamingOptions]

       注意：普通选项一定要写在streaming选项前面

二、普通选项

Parameter	Optional/Required	Description
-conf configuration_file	Optional	Specify an application configuration file
-D property=value	Optional	Use value for given property
-fs host:port or local	Optional	Specify a namenode
-files	Optional	Specify comma-separated files to be copied to the Map/Reduce cluster
-libjars	Optional	Specify comma-separated jar files to include in the classpath
-archives	Optional	Specify comma-separated archives to be unarchived on the compute machines

       其中：-D property=value是很重要的指令。

※指定map\reduce任务数:

-D  mapred.reduce.tasks= 2 

指定reducer个数，为0时，该作业只有mapper

※指定mapper输出分隔符：

-D stream.map.output.field.separator=.

指定mapper每条输出key,value分隔符

-D stream.num.map.output.key.fields=4

第4个 . 之前的部分为key,剩余为value

-D map.output.key.field.separator=. 

设置map输出中，Key内部的分隔符

※指定基于哪些key进行分桶：

-D num.key.fields.for.partition=1

只用1列Key做分桶

-D num.key.fields.for.partition=2

使用1,2共两列key做分桶

-D mapred.text.key.partitioner.option =-k2,3 

第2,3列Key做分桶

-D mapred.text.key.partitioner.option =-k2,2   

第2列key做分桶

※使用上述-D配置后，下文需加上：

-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner

三、streaming命令选项

Parameter	Optional/Required	Description
-input directoryname or filename	Required	Input location for mapper
-output directoryname	Required	Output location for reducer
-mapper executable or JavaClassName	Optional	Mapper executable. If not specified, IdentityMapper is used as the default
-reducer executable or JavaClassName	Optional	Reducer executable. If not specified, IdentityReducer is used as the default
-file filename	Optional	Make the mapper, reducer, or combiner executable available locally on the compute nodes
-inputformat JavaClassName	Optional	Class you supply should return key/value pairs of Text class. If not specified, TextInputFormat is used as the default
-outputformat JavaClassName	Optional	Class you supply should take key/value pairs of Text class. If not specified, TextOutputformat is used as the default
-partitioner JavaClassName	Optional	Class that determines which reduce a key is sent to
-combiner streamingCommand or JavaClassName	Optional	Combiner executable for map output
-cmdenv name=value	Optional	Pass environment variable to streaming commands
-inputreader	Optional	For backwards-compatibility: specifies a record reader class (instead of an input format class)
-verbose	Optional	Verbose output
-lazyOutput	Optional	Create output lazily. For example, if the output format is based on FileOutputFormat, the output file is created only on the first call to Context.write
-numReduceTasks	Optional	Specify the number of reducers
-mapdebug	Optional	Script to call when map task fails
-reducedebug	Optional	Script to call when reduce task fails

（常用选项已经标注）

示例：

hadoop jar /usr/hadoop/hadoop-2.5.1/share/hadoop/tools/lib/hadoop-streaming-2.5.1.jar \

    -D stream.num.map.output.key.fields=4 \

    -D stream.map.output.field.separator=. \

    -D mapred.text.key.partitioner.options=-k1,2 \

    -D map.output.key.field.separator=. \

    -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner \

    -input /user/input/in.txt \

    -output /user/output \

    -mapper mapper.py -file mapper.py \

    -reducer reducer.py -file reducer.py

---

总结：
        1、map操作会默认将输出按照key进行排序，而不管value
        2、需自己指定关键字列，从而打到不同的reduce作业中

       后续将更新mapreduce工作原理以及shuffle流程，以及好友推荐、搜索自动补全项目。
参考链接：
http://hadoop.apache.org/docs/current/hadoop-streaming/HadoopStreaming.html
https://www.cnblogs.com/shay-zhangjin/p/7714868.html