前言
最近在学习Spark，除了原生的Scala以外，Spark还提供了一个pyspark支持Python。以前曾经搭过一个基于IPython notebook的在线代码运行平台，其中用到的numpy，scipy，matplotlib，pandas等文本/数据处理库让我觉得如果能和pyspark结合说不定是个不错的组合——可以直观的测试代码逻辑，比起shell不知道要高到哪里去了。
至于这个平台，你可以搭载在树莓派，阿里云ecs，甚至是本机架设，方便快捷简单易上手。
事实上对于这篇文章，你也可以单纯把它看作是单机布置伪分布式Spark的教程，因为前面步骤一样一样的。
前期准备
硬件：
Linux/Mac计算机 x1
Linux用Ubuntu作为示例，Mac默认有HomeBrew或者Macport
软件：
Java环境，配置过JAVA_HOME
Python环境，默认为Python2
需联网，没有网络的请自行下载源码包并上传至机器
下载
Spark:
前往Apache官网下载:
- hadoop2.6.0.tar.gz
- spark-1.6.1-bin-hadoop2.6.tar.gz
- scala-2.10.6.tar.gz
下载并统一使用
tar xvzf XXX.tar.gz
进行解压，之后执行
$mv hadoop2.6.0 /usr/local/hadoop
$mv spark-1.6.1-bin-hadoop2.6 /usr/local/spark
$mv scala-2.10.6 /usr/lcoal/scala
将文件夹移动到/usr/local备用
IPython：
之前用的Ipython notebook已经独立出来变成了jupyter，在这个步骤Python首先要安装setuptools，之后执行
$easy_install pip virtualenv
Virtualenv是Python的一个沙盒环境，适合配置不同版本的库来适配不同应用。
之后用Virtualenv创建一个IPython ENV
$cd /your/IPython/path/
$virtualenv ipython
$source ipython/bin/activate
(ipython)$
当前缀出现(ipython)的时候，说明这个env已经创建成功并正在使用中，如果需要退出就执行
(ipython)$cd ipython/bin && deactivate
$
之后在ipython环境中执行
(ipython)$pip install ipython jupyter numpy scipy pandas snownlp
安装matplotlib库则稍微麻烦些，需要先安装其依赖的包libpng和freetype
安装libpng:
$apt-get install libpng-dev
安装freetype:
$cd ~/Downloads
$wget http://download.savannah.gnu.org/releases/freetype/freetype-2.4.10.tar.gz
$tar zxvf freetype-2.4.10.tar.gz
$cd freetype-2.4.10/
$./congfigure
$make
$make install
之后执行
pip install matplotlib
配置环境变量
在这一步，Ubuntu请执行
$vim ~/.bashrc
Mac执行
$vim ~/.bash_profile
在文件末尾输入:
export PATH="$PATH:/usr/local/share/scala/bin"
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python
export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python/lib/py4j-0.9-src.zip
IPYTHON_OPTS="notebook"$SPARK_HOME/bin/pyspark
:wq保存退出之后可以开始进行最后一步的spark环境配置了
Spark配置：
说是Spark的配置其实是更像是Hadoop的配置，毕竟Spark默认配置就能运行。
首先进入Hadoop的配置文件夹
$cd /usr/local/hadoop/etc/hadoop
$ls
你可以看到以下几个文件
- core-site.xml
- yarn-site.xml
- mapred-site.xml
- hdfs-site.xml
别急一个一个来
vim core-site.xml
写入
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
vim yarn-site.xml
写入
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
如果没有mapred-site.xml
$ mv mapred-site.xml.template mapred-site.xml && vim mapred-site.xml
写入
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vim hdfs-site.xml
写入
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
呼，长嘘一口气
然后格式化一下namenode
$hdfs namenode -format
启动hadoop服务
$start-all.sh
输入数次密码，如果不想每次都输密码就百度一下hadoop的ssh免密配置
$jps
看到如下
17785 SecondaryNameNode
17436 NameNode
17591 DataNode
18096 NodeManager
17952 ResourceManager
23635 Jps
很好你成功启动了hadoop，接下来进入spark文件夹
$cd $SPARK_HOME/sbin
$start-all.sh
输入一次密码之后查看jps是否多了一个worker和一个master，不出意外的话你的spark应该是能运行了
启动Jupyter
好累啊终于到了这一步了，进入ipython环境的前提下执行
(ipython)$jupyter notebook --generate-config
(ipython)$vim ~/.jupyter/jupyterA_notebook_config.py
写入
c.NotebookApp.ip='*'
c.NotebookApp.open_browser = False
c.NotebookApp.port =8888
然后执行
jupyter notebook
在浏览器输入http://ip_address:8888就能访问辣！
然后就愉快的新建notebook开始敲代码叭！
oh yeah
网友评论