Spark介绍-安装-使用

一、介绍

二、安装

Ubuntu环境参考

1.环境准备(有一个博客有很全面的介绍，直接转载一个个看就行）
安装Scala
安装配置Hadoop
Hbase安装
安装Spark

2.问题处理
防火墙问题：
很多时候都会出现datanode、namenode无法访问，先考虑机器的防火墙是否关闭了（推荐关闭）
权限问题：
提示 Cannot set priority of datanode process
hadoop所在存储目录的访问修改权限
jar包缺失问题：
com.google.protobuf.ServiceException: java.lang.NoClassDefFoundError: com/yammer/metrics/core/Gauge
将hbase安装目录下lib目录中的metrics-core-2.2.0.jar复制到spark安装目录下的jars目录下
sbt打包错误问题：
有可能是修改了某个文件，前一次的打包记录中有些冲突之类的吧，反正报错信息一点参考价值都没有
删除工程目录下的project和target目录，重新打包
节点无法访问的问题
可以尝试重启hadoop，(⊙﹏⊙)b
远程hdfs下载错误
2019-10-30 17:05:36,613 WARN hdfs.DataStreamer: DataStreamer Exception
java.lang.NullPointerException
at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1756)
at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1679)
at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:716)
put: java.lang.NullPointerException
启用debug日志 export HADOOP_ROOT_LOGGER=DEBUG,console，找到对应的错误
util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path