Hadoop streaming is a utility that comes with the Hadoop distribution. The utility allows you to create and run Map/Reduce jobs with any executable or script as the mapper and/or the reducer.
简而言之，Hadoop Streaming 是一个工具，允许使用任何能够操作标准输入输出的语言来编写MapReduce。
可以参见官方文档：http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/HadoopStreaming.html
需要说明的几点：

1、hadoop-streaming是基于Unix Pipe的
2、mapper，reducer只需要 sys.stdin读取数据，并且将结果写到标准输出即可
3、map到reduce的期间，hadoop会自动给map出的key排序，所以到reduce中是一个已经排序的键值对

常用参数：

-input：必须的参数，文件名或者目录名，mapper需要操作的目录
-output：必须的参数，文件名或者目录名，reducer需要操作的目录
-mapper： 必须的参数，mapper名
-reducer：必须的参数，reducer名
-file：可选参数

-D stream.num.map.output.key.fields=1
num.key.fields.for.partition=N，这个参数是用来控制 shuffle 阶段将数据集的前N列作为Key；
所以对于 wordcount 程序，map输出为“word  1”，shuffle 是以word作为Key，因此这里N=1

有时候我们首先要找到 hadoop-streaming 这个jar包所在的位置：

find $HADOOP_HOME -name hadoop-streaming*

如果想查看hadoop-streaming帮助

$HADOOP_HOME/bin/hadoop jar /opt/modules/hadoop-2.6.0-cdh5.8.0/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh5.8.0.jar -info

mapper

用Python 开发的mapper代码如下：

#! /usr/bin/env python

import sys
import time
import re

patterns = re.compile(r'\w+')

for line in sys.stdin:
    ss = line.strip().split(' ')
    for word in ss:
        if len(patterns.findall(word)) < 1:
            continue
        w = patterns.findall(word)[0].lower()
        print("%s\t%s" %(w, 1))

reducer

用Python 开发的 reducer 代码如下：

#! /usr/bin/env python

import sys

current_word = None
sum = 0

for line in sys.stdin:
    word, value = line.strip().split('\t')

    if current_word == None:
        current_word = word

    if current_word != word:
        print("%s\t%s" %(current_word, sum))
        current_word = word
        sum = 0
    sum += int(value)
print ("%s\t%s" %(current_word, str(sum)))

本地调试

# 本地调试流程 cat | mapper | sort | reducer 
cat sample.csv | python mapper.py | sort -t '\t' -k 1 | python reducer.py

head -2 /opt/datas/The_man_of_property.txt | python map.py | sort -t $'\t' -k 1 | python reduce.py
1、在sort -t '\t'时，要使用 sort -t $'\t'，不然会报错【sort: 多字符标签"\\t"】，
2、如果是其他的分隔符"，"或者"："等就不会有这个问题，当然是这些分隔符加上$也是可以的

run 脚本

提交mapreduce的脚本，常见有如下四种写法
第一种，假设当前位于 map.py 与 red.py 所在的目录

#! /bin/bash

HADOOP_CMD="/opt/modules/hadoop-2.6.0-cdh5.8.0/bin/hadoop"
STREAM_JAR_PATH="/opt/modules/hadoop-2.6.0-cdh5.8.0/share/hadoop/tools/lib/hadoop-streaming-2.6.0-cdh5.8.0.jar"
INPUT_FILE_PATH="/datas/The_man_of_property.txt"    # HDFS路径
OUTPUT_PATH="/output/wc"    # HDFS路径


$HADOOP_CMD fs -rm -r -skipTrash $OUTPUT_PATH

$HADOOP_CMD jar $STREAM_JAR_PATH \
    -input $INPUT_FILE_PATH \
    -output $OUTPUT_PATH \
    -mapper map.py \
    -file map.py \
    -reducer reduce.py \
    -file reduce.py

第二种：

$HADOOP_CMD jar $STREAM_JAR_PATH \
    -input $INPUT_FILE_PATH \
    -output $OUTPUT_PATH \
    -mapper ./map.py \
    -file map.py \
    -reducer ./reduce.py \
    -file reduce.py

第三种，对所在目录就没有要求：

$HADOOP_CMD jar $STREAM_JAR_PATH \
    -input $INPUT_FILE_PATH \
    -output $OUTPUT_PATH \
    -mapper src/map.py \
    -file map.py \
    -reducer src/reduce.py \
    -file reduce.py

第四种：

$HADOOP_CMD jar $STREAM_JAR_PATH \
    -input $INPUT_FILE_PATH \
    -output $OUTPUT_PATH \
    -mapper "python map.py" \
    -file src/map.py \
    -reducer "python red.py" \
    -file src/red.py

值得注意的是：

1、准确来说，mapper，reducer 后面需要的其实应该是一个命令而不是文件名
2、对于第1,2,3种写法来说，py文件的首行是必须指定解释器位置的（#! /usr/bin/env python），不然系统咋知道用啥解释器去执行脚本呢
3、第四种写法 "python map.py" 是推荐的用法，因为在这里可以引入第三方package
4、当然还有第五种写法，通过 -archives 参数将压缩后的整个环境上传至HDFS，然后分发至各个节点执行