spark-shell 崩溃

作者: crazydane | 来源:发表于2017-05-05 17:11 被阅读0次

spark-shell总是崩溃。查询原因时自己使用Ctrl+Z退出了，正确的方式应该是使用:quit
解决办法如下。

查询被占用进程

netstat -apn | grep 4040

然后显示

tcp      0    0  0.0.0.0:4040      0.0.0.0:*  Listen   3838/java

这里可以看到进程号是3838，可以将它kill掉。

kill -9 3838

另一个崩溃可能spark启动了多个instance，输入下面命令。

ps -df | grep spark-shell

然后杀死相关进程
然后就终于不用重启虚拟机了。。。。。

spark-shell 崩溃
spark-shell总是崩溃。查询原因时自己使用Ctrl+Z退出了，正确的方式应该是使用:quit解决办法如下。...
Spark搭建之单机模式
本文的主线安装 => 运行 => Spark-Shell 安装运行 Spark-Shell 暂只支持Scala...
【Spark实战】SparkSQL实战
1 实战环境使用Spark-Shell进行练习，Spark-Shell就是一种特殊的SparkSubmit，所以...
Spark-shell&Scala（一）
Spark-shell启动与退出启动在spark的bin目录中启动： ./spark-shell 进入spark...
Spark在Hadoop集群上运行时虚拟内存超出限制
在内网搭建了一套Hadoop，接着想在yarn上运行spark-shell，之前单机运行spark-shell没有...
Spark | WordCount
wordcount spark-shell spark word count
spark提交参数解析
上一节学习了Spark源码的编译方法，这一节我们跟踪一下spark-shell的启动. spark-shell是s...
linux下spark-shell报错command not f
[root@xxxsitapp293 bin]# spark-shell \ > --master spark:/...
Spark SQL 操作Hive
spark-shell spark-sql thriftserver/beeline thriftserver/j...
深入理解Spark——准备篇
跟踪源码 spark-shell -> spark-submit -> spark-class SparkSubm...