配置pyspark从notebook启动

[TOC]

安装ipython

pass

编辑ipython的配置文件

执行
ipython profile create pyspark

创建~/.ipython/profile_pyspark
编辑~/.ipython/profile_pyspark/ipython_notebook_config.py

c = get_config()

c.NotebookApp.ip = '*' # or 127.0.0.1  or local ip
c.NotebookApp.open_browser = False
c.NotebookApp.port = 8880 # whatever you want;be ware of confilcts 

编辑
~/.ipython/profile_pyspark/startup/00-pyspark-setup.py

import os
import sys

spark_home = os.environ.get('SPARK_HOME', None)
  if not spark_home:
      raise ValueError('SPARK_HOME environment variable is not set')
sys.path.insert(0, os.path.join(spark_home, 'python'))
  sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.8.1-src.zip'))
execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))

申明变量

第一行是让pyspark走ipython，第二行是让ipython用notebook，第三行是指定sparkhome，最后一行可以不写

export IPYTHON=1 
export IPYTHON_OPTS="notebook --pylab inline"
export SPARK_HOME='/home/leisurem/cm/spark-1.6.1-bin-hadoop2.6'
#export PYSPARK_SUBMIT_ARGS='--master yarn --deploy-mode client --num-executors 24 --executor-memory 4g --executor-cores 2'

执行pyspark

ipython notebook --profile=pyspark

如果执行
./pyspark
这个会用默认的profile，也就是profile_default，把刚才修改的_{/.ipython/profile_pyspark/ipython_notebook_config.py拷贝到}/.ipython/profile_default即可

要显示行数，在notebook里按ctrl+m进入到命令行模式，按l就好了，再按esc退出