1.下载安装包url:
http://www.scala-lang.org/download/2.11.8.html
2.解压
tar zxvf scala-2.11.8.tgz
3.重命名
mv scala-2.11.8.tgz scala
4. 设置scala为全局变量(本文为设置,不影响编译)
vi /etc/proflie(略)
5.编译(如果是多个工程的scala文件建议将scalac 换成fsc)
cd scala/bin/
scalac -classpath /etc/hadoop/conf/:../lib/* -d myclass/ com/i/ConnectPoolUtil.scala
如果多个scala文件可以使用以下命令:
scalac -classpath /etc/hadoop/conf:../lib/*:mylib/*:../jar/* -d myclass/ com/i/*
注意:其中com/i/是包名在linux中的表现形式是文件目录
6.打包
jar -cvf conn.jar -C myclass/ ./
7.如果是使用CDH 提交spark任务的话可以使用:
spark-submit --class com.i.ConnectPoolUtil --master yarn --executor-memory 2G --total-executor-cores 2 my.jar
网友评论