注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6815385772254822919/
承接上一个文档《Spark源码编译》
解压spark编译好的压缩包
sudotar -zxvf spark-2.0.2-bin-2.7.3.tgz -C /opt/bigdata/spark
修改配置文件
添加内容
启动hdfs
namenode和datanode
测试spark自带的例子
计算圆周率
./bin/run-example SparkPi
第二个测试
./bin/run-example SparkPi 100
启动sparkshell
退出spark shell的命令是 :quit
修改日志打印级别(可选)
修改文件
修改log4j.logger.org.apache.spark.repl.Main=INFO这句话就可以了
注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6815385772254822...
# 本地环境搭建
环境搭建 angular官网--搭建本地开发环境和工作空间windows 10 搭建angular开发环境免搭建环...
babel本地编辑环境搭建 今天讲的是babel搭建本地环境，众所周知，现如今，javascript已经发布了es...
wordpress 环境搭建 0.本地环境搭建 0.1准备工作：安装XMAPP环境 0.1.2 XAMPP保存路径...
spark-local 详解 Spark的Local模式是在本地启动多个Threads(线程)来模拟分布式运行模式...
第一次搭建hadoop环境，因为目前没有linux环境，只能在window本地搭建，window环境的搭建比lin...
本地导入gitlab仓库 搭建环境 搭建maven环境Linux的alpine版的镜像adminie_jenkin...
运行环境 本地环境搭建 在本地搭建 Lua 编程语言的开发运行环境，你需要在你的计算机上安装如下三个软件：(1) ...
【指南】本地如何搭建IPv6环境测试你的APP 【指南】本地如何搭建IPv6环境测试你的APP
本文标题：Spark-local本地环境搭建
本文链接：https://www.haomeiwen.com/subject/mzkzmhtx.html
网友评论