环境准备
先搭建好hadoop和spark环境,在此不再赘述。
安装scala和jdk,将两个软件包上传至/usr/local,各自解压后在profile里面设置环境变量,HADOOP_HOME、HADOOP_CONF_DIR、YARN_CONF_DIR、SPARK_HOME、JAVA_HOME、CLASSPATH、SCALA_HOME、PATH等。注意路径不要写错,完成后source一下。
shell输入命令检查各个软件包是否正确安装。
zeppelin安装
创建zeppelin用户,useradd -m zeppelin
下载官网的全解释器二进制包700+MB。上传至/home/zeppelin/目录下,开始zeppelin的配置工作。
将conf中的zeppelin-env.sh.template与zeppelin-site.xml.template复制一份,去掉template,修改zeppelin-env.sh,增加几行:
export SPARK_MASTER_IP=127.0.0.1
export SPARK_LOCAL_IP=127.0.0.1
export SPARK_HOME=/usr/local/spark2
export ZEPPELIN_MEM="-Xmx2048m -XX:PermSize=256M"
若8080端口已经被占用,则修改zeppelin-site.xml配置文件,<name>zeppelin.server.port</name>设置其value为9995。
lib/下的包jackson-databind/jackson-annonations/jackson-core三个jar包全替换成2.6.5版本的。jackson jar包下载链接
以zeppelin用户身份在bin/目录下执行./zeppelin-daemon.sh start。浏览器中输入"ip":"port"就可以看见了。
网友评论