1 配置远程登录服务器上的jupyter notebook
1.1 安装jupyter notebook
安装Anaconda，就已经自动jupyter notebook，没有的话自己从新安装。
1.2 生成密码
进入shell，按如下内容进行输入
$ ipython
In [1]: from IPython.lib import passwd
In [2]: passwd()
Enter password: #输入远程登陆时的密码（服务器密码）
Verify password: #确认密码
Out[2]: 'sha1:0exxxxxxxxxxxxxxxxxx3999xxx2d856'
1.3 生成mycert.pem
输入
$ openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem
填入相关信息，生成mycert.pem文件
1.4 配置jupyter notebook
生成配置文件
$ jupyter-notebook --generate-config
修改~/.jupyter/jupyter_notebook_config.py文件：
c.NotebookApp.password = u'sha1:' #刚刚生成的SHA密钥
c.NotebookApp.certfile = u'/home/hadoop/.jupyter/mycert.pem' #mycert.pem文件位置
c.NotebookApp.ip = 'Master' #本机ip
c.NotebookApp.port = 9999 #端口
1.5 本地登录
在服务器输入：
$ jupyter notebook --ip=Master --no-browser --allow-root
之后会打印访问链接，输入到本地浏览器打开即可。
2 Jupyter连接pyspark
在服务器端，添加的~/.bashrc文件中添加如下环境变量：
#py-spark
export PYTHONPATH=/usr/local/bigdata/spark/python:$PYTHONPATH #pythonpath指向spark目录下的python文件夹
export PYTHONPATH=/usr/local/bigdata/spark/python/lib/py4j-0.10.7-src.zip:$PYTHONPATH# 指向py4j包，没有的话下载一个
export PYSPARK_PYTHON=python3 #使用python3
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=Master --no-browser --allow-root"
$ source ~/.bashrc 使其生效。
在服务器终端中输入
$ pyspark
之后同样会打印出访问链接，输入到本地浏览器访问即可。
网友评论