1,利用scala语言开发spark程序实现单词统计–集群运行
打成jar包提交到集群中运行 运行出错。
原因:类名称写错了。
获得需要运行的类的类名: Java 》 选择主类名 》右键 》Copy Reference
错误的:com.kaikeba.WordCountOnSpark
正确的:scala.com.kaikeba.WordCountOnSpark
[hadoop@node01 ~]$ spark-submit --master spark://node02:7077,node03:7077 --class scala.com.kaikeba.WordCountOnSpark --executor-memory 1g --total-executor-cores 2 original-spark_class05-1.0-SNAPSHOT.jar /words.txt /out123
2,Java打包jar包并存储到电脑桌面
打包如图所示,双击package 等待打包完成:
拷贝打包好的jar包到桌面:
target 》 maven-status 》选择想要的包 右键 》Refactor 》Copy File
如下图所示,并按照提示操作。
3,虚拟机添加配置时候,让配置立即生效,命令无效
[root@node01 conf]# source /etc/profile
bash: rt:未找到命令
原因是:profile 文件里的配置有错误/语法错误。(此处export 写成了 port),再次打开配置文件,建工诶之错误的地方改回来,再次执行即可。
4,在hdfs上,解压安装spark 提示出错
技术文档提供的方法:
tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz
官网下载的文件:
spark-2.3.3-bin-hadoop2.7.tar
Hdfs上的解压之后的提示:
1 root@cmfchina:/usr/java# tar -zxvf spark-2.3.3-bin-hadoop2.7.tar -C /kkb/install
2 gzip: stdin: not in gzip format
3 tar: Child returned status 1
4 tar: Error is not recoverable: exiting now
解决办法(tar -zxvf 改为 tar -xvf ):tar -xvf spark-2.3.3-bin-hadoop2.7.tar
5,按照课件操作,idea上进行词频统计,代码一样就是运行不了
//3、读取数据文件
JavaRDD<String>data=jsc.textFile("E:\\words.txt");
原因:文件路径出错。
"E:\\words.txt" 表示的是在Windows电脑E盘,并不是虚拟机的位置。
解决办法:将这个文件路径改为在Mac电脑上的路径,注意不是在虚拟机上的为位置。
//3、读取数据文件
val data: RDD[String]= sc.textFile("/Users/lindon/Desktop/words.txt") //"E:\\words.txt"
6,命令运行不下去,或想结束命令怎么办?
control+z
7,在Hadoop节点上,在Hadoop,MySQL都已正常打开的情况下,启动hive提示没有此命令:
[hadoop@node03 /]$ hive
-bash: hive: 未找到命令
原因:此节点没有添加hive的配置。或者以前添加了不知道什么原因删除了,解决办法如下:
切换到root用户下
[hadoop@node03 soft]$ su root
Password:
打开/etc/profile文件 (配置好的文件不要随意更改!!!)
[root@node03 soft]# vim /etc/profile
末尾添加如下内容(根据自己的真是路径填写)
export HIVE_HOME=/kkb/install/hive-1.1.0-cdh5.14.2
export PATH=$PATH:$HIVE_HOME/bin
切换回hadoop用户,并source
[root@node03 soft]# su hadoop
[hadoop@node03 soft]$ source /etc/profile
验证:
[hadoop@node03 ~]$ hive
show databases;
8,Flume 采集目录到HDFS
问题:Flume 启动之后,监控一个文件夹里的文件,每次都不能正常启动。
fLume启动问题原因:文件夹里有一张图片是中文命名,所以难以识别,centos 对中文不友好,以后精脸不要出现 ---中文路径 --- 。
将旧的文件夹删除,重新创建文件夹 启动即可。
开始以为是 复制的 配置文件 格式有问题,试了几次,并没有解决问题。
9,虚拟机上打开MySQL (无论是虚拟机还是电脑终端,打开MySQL 一样的姿势!!!)
[hadoop@node03 ~]$ mysql -u root -p
网友评论