美文网首页
从头安装3--spark

从头安装3--spark

作者: 丁逸 | 来源:发表于2017-08-16 16:56 被阅读0次

个人备注网页, 不喜勿扰

1.解压spark
[root@base ~]# tar -zxf downloads/spark-2.1.1-bin-hadoop2.7.tgz
2.为方便以后,改名
[root@base ~]# mv spark-2.1.1-bin-hadoop2.7 spark
3.修改spark-env.sh
[root@base ~]#cd spark/conf
[root@base spark]#ls -all

如果有spark-env.sh这个文件,有则跳过下面这段代码,没有则执行

[root@base conf]# mv spark-env.sh.template spark-env.sh
[root@base conf]# vi spark-env.sh
在 spark-env.sh 中增加:

export SPARK_LOCAL_IP=master
export SPARK_MASTER_HOST=master #完成都说是SPARK_MASTER_IP,在此版本中不好使.
export SPARK_WORKER_MEMORY=1g
export SCALA_HOME=/root/scala-2.11.0-RC4
export JAVA_HOME=/root/jdk1.7.0_80
export SPARK_HOME=/root/spark

4.运行测试
[root@base spark]# ./sbin/start-all.sh
5.页面访问
http://192.168.10.109:8080
Workers 中有workerID
Address为192.168.10.109
能够正确访问,有相关信息则启动成功
6.关闭服务
[root@base spark]# ./sbin/stop-all.sh

相关文章

  • 从头安装3--spark

    个人备注网页, 不喜勿扰 1.解压spark[root@base ~]# tar -zxf downloads/s...

  • 从头安装dgl

    发现dgllife里面很多东西重构过...以致于在0.4.1版本上很多东西无法运行.. 好吧, 我用github源...

  • 从头安装5 -- hadoop

    个人备注网页, 不喜勿扰 1.解压hadoop[root@base ~]# tar -zxf downloads/...

  • 从头安装2--scala

    个人备注网页, 不喜勿扰 此处选用2.11版本,因为2.12版本需要JDK1.8.现在看JDK1.8仍然后很多无法...

  • 从头安装1--JDK

    个人备注网页, 不喜勿扰 1.在根目录下解压缩刚才下载的:jdk-7u80-linux-x64.tar.gz包,[...

  • TVM编译遇到的那些坑

    由于工作需要,初次接触TVM,工作用的电脑是windows系统的,要从头搭建整个编译环境,嗯,真的硬核从头,从安装...

  • Nginx 安装与测试领域的使用

    Nginx 安装 前言:此文章只是简单的Nginx安装与简单的使用,目的本人这个工具已近有2年多没有从头到尾安装到...

  • 从0搭建MXNet环境

    01 目标 在没有Linux环境的前提下,从头开始安装Linux环境与cuda 并且编译安装mxnet的gpu加速...

  • redis安装和使用Python远程连接redis

    最近研究redis,废话少说..从头开始.安装redis 安装配置redis 1首先下载redis 2019年11...

  • Jenkins+svn+ftp自动化发布asp.net项目

    习惯于从头到尾讲述,先列个大纲: (1)先下载Jenkins并安装; (2)安装.Net所需要的插件; (3)配置...

网友评论

      本文标题:从头安装3--spark

      本文链接:https://www.haomeiwen.com/subject/jqwdlxtx.html