利用IPython Notebook配合Amazon EMR实现数据分析
IPython Notebook是一套基于Web的交互环境，允许大家将代码、代码执行、数学函数、富文档、绘图以及其它元素整合为单一文件。从后端层面看，IPython Notebook会将此类信息保存为一个JSON文件。
相较于传统REPL或者传统写入/上传/测试任务流程，Notebook的突出优势在于允许大家将交互式内容与图片及绘图相结合。在数据分析类任务领域，Notebook能够出色地完成探索性测绘工作、快速筹备原型方案并将其与同事进行分享。而这也正是IPython的闪光点所在：当大家分享Notebook内容时，我们可以通过有组织的方式提供相关背景，并允许同事们就此进行效果体验。IPython官方网站上提供了丰富的说明文档与示例资料，旨在帮助大家快速上手IPython。而在将Notebook运行在Amazon EMR上时，我们则能够通过运行hadoop任务并将结果绘制成视图的方式快速实现数据集分析。
在今天的博文中，我们将共同了解如何启动一套运行有IPython Notebook的EMR集群，通过自己的浏览器与目标Notebook相对接、利用Hadoop Straming进行分析并以图形化方式显示分析结果。通过EMR bootstrap操作，我们能够将IPython Notebook以及关联性安装在主节点之上，并同时获得用于实现基础性科学计算的工具包。
大家可以利用以下命令启动一套EMR集群：
aws emr create-cluster –name iPythonNotebookEMR –ami-version 3.2.3
–instance-type m3.xlarge –instance-count 3 –ec2-attributes
KeyName=<> –bootstrap-actions
Path=s3://elasticmapreduce.bootstrapactions/ipython-notebook/install-
ipython-notebook,Name=Install_iPython_NB –termination-protected
大家也可以使用EMR控制台并选定以下bootstrap操作：
s3://elasticmapreduce.bootstrapactions/ipython-notebook/install-ipython-notebook
在集群开始运行之后，Notebook服务器将运行在端口8192上。我们可以通过打开由本地设备到目标EMR主节点间通道的方式实现接入。以下示例介绍了如何打开一条通往主节点的通道：
ssh -o ServerAliveInterval=10 -i <> -N -L
8192:<>:8192 hadoop@<
public-dns-name>>
顺利打开通道之后，开启我们的浏览器并通过以下URL访问该Notebook：
http://localhost:8192
现在页面已经顺利开启，接下来选择New Notebook。
下载字数统计代码
首先，大家需要将字数统计代码下载到自己的设备上。我们可以使用与IPython功能相契合的wget命令运行shell命令行，命令开头需要以！作为前缀：
!wget https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/wordSplitter.py
在字数统计代码下载完成后，大家可以将对待其它Hadoop任务一样将其付诸执行。该程序的输入结果读取自Amazon S3，而输出结果则写入至HDFS。
运行MapReduce程序
!hadoop jar /home/hadoop/contrib/streaming/hadoop-*streaming*.jar
-files wordSplitter.py -mapper wordSplitter.py -reducer aggregate -input
s3://elasticmapreduce/samples/wordcount/input -output /output
在该Hadoop任务运行完毕后，大家可以在EMR集群上的本地HDFS中检查输出文件内容。接下来，我们要做的是利用该结果绘制出一份条状图。大家可以点击此处从AWS大数据博客GitHub库中下载示例代码。（请记住，如果大家打算复制并粘贴这部分代码，请预留足够的空间！）
以下截图所示为运行示例代码后的显示结果。
清理
在体验过了IPython Notebook的使用流程之后，大家可以通过控制台或者AWS命令行关闭自己的集群，以免其闲置带来额外使用成本。
总结
在今天的文章中，大家了解了如何启动一套运行有IPython Notebook的EMR集群、通过浏览器接入Notebook、使用Hadoop Streaming实现数据分析外加以图形化方式显示分析结果。现在大家可以利用IPython的强大能力组织自己的代码并加以分享，这样其他人就能轻松了解我们项目的背景信息与实验效果了。
如果您有任何问题或者建议，请在评论栏中与我们交流。
原文链接：https://blogs.aws.amazon.com/bigdata/post/TxX4BY5T1PQ7BQ/Using-IPython-Notebook-to-Analyze-Data-with-Amazon-EMR
当前页面网址http://www.dashujukong.com/gongju/1760，转载请保留
网友评论