spark2.0 配置ipython,本地访问远程spark

作者: 思索人生_mind | 来源:发表于2018-01-26 12:08 被阅读0次

1、vi ~/.bashrc

export PYSPARK_DRIVER_PYTHON=ipython

export PYSPARK_DRIVER_PYTHON_OPTS="notebook"

source ~/.bashrc

2、vi pyspark

把python改成ipython

3、jupyter notebook --generate-config

vi /data1/user/zhanghd/.jupyter/jupyter_notebook_config.py

修改地址为*

4、然后启动pyspark，访问那个url

5、本地访问这个地方，spark读取hdfs文件

spark2.0 配置ipython,本地访问远程spark
1、vi ~/.bashrc export PYSPARK_DRIVER_PYTHON=ipython expor...
IPython Notebook远程访问配置
1.安装IPython 与 IPython Notebook 此时可以本地访问notebook。 2.创建登录密码...
IDEA配置本地开发环境连接远程集群访问Hdfs，Spark S
摘要：IDEA，Spark，Hive，Hdfs IDEA配置访问hdfs IDEA本地环境需要配置pom.xml依...
2. 远程访问jupyter notebook
想在本地远程访问jupyter notebook，则需要进行如下配置: 1. 登陆远程服务器 2. 生成配置文件 ...
Hadoop - SparkSQL
DataFrame -> DataSet Spark2.0 Codes: export SPARK_MAJOR_V...
远程访问ipython notebook
这是我的一点思考 ipython notebook是运行在浏览器的，是否可以在服务器开一个ipython，然后用浏...
ssh 快捷登录
效果登录阿里云机器本地机器：macOS远程机器：120.25.83.123 配置本地配置远程配置本地快...
hadoop 3.x大数据集群搭建系列10-配置Spark Sh
一. Spark shell配置 Spark shell默认就是可以访问的二. Hive on Spark配置 ...
远程登录jupyter notebook
1.登录远程服务器 2.生成默认配置文件 3.生成访问密码（token）终端输入ipython，设置你自己的jup...
远程访问jupyter notebook
Intro 环境 linux 转载于点击这里配置方法远程访问此时应该可以直接从本地浏览器直接访问http:/...