前言
StreamingPro中的 streamingpro-manager 提供了部署,管理Spark任务的Web界面。轻量易用。
编译
编译SF框架:
git clone https://github.com/allwefantasy/ServiceFramework.git
cd ServiceFramework
mvn install -Pscala-2.11 -Pjetty-9 -Pweb-include-jetty-9
编译streamingpro-manager:
git clone https://github.com/allwefantasy/streamingpro.git
mvn clean package -pl streamingpro-manager -am -Ponline -Pscala-2.11 -Pshade
之后你应该在streamingpro-manager/target有个jar包
创建数据库表
streamingpro-manager 的resource 目录有个sql文件,大家可以根据其创建表库。
启动以及启动参数
java -cp ./streamingpro-manager-0.4.15-SNAPSHOT.jar streaming.App \
-yarnUrl yarn resource url地址 比如master.host:8080 \
-jdbcPath /tmp/jdbc.properties \
-envPath /tmp/env.properties
jdbcPath指定jdbc连接参数,比如:
url=jdbc:mysql://127.0.0.1:3306/spark_jobs?characterEncoding=utf8
userName=wow
password=wow
你也可以把这些参数写到启动参数里。但是前面加上jdbc.前缀就可。比如:
java -cp ./streamingpro-manager-0.4.15-SNAPSHOT.jar streaming.App \
-yarnUrl yarn resource url地址 比如master.host:8080 \
-jdbc.url a \
-jdbc.userName a \
-jdbc. password b
envPath 里面放置的是你为了使用spark-submit 需要配置的一些参数,比如:
export SPARK_HOME=/opt/spark-2.1.1;export HADOOP_CONF_DIR=/etc/hadoop/conf;cd $SPARK_HOME;
管理界面
第一个界面是上传Jar包:
![](https://img.haomeiwen.com/i1063603/451bc340880d5c33.png)
第二界面是提交任务:
![](https://img.haomeiwen.com/i1063603/564f03134084fc66.png)
勾选依赖的jar包,选择主jar包,然后做一些参数配置,然后点击提交会进入一个进度界面。
第三个界面是管理页面。
![](https://img.haomeiwen.com/i1063603/7694d3cfc367e138.png)
任务能够被监控是要求已经在Yarn上申请到了applicationid。所以如果提交失败了,点击监控按钮是无效的。如果你的程序已经提交过一次并且获得过applicationid,那么你点击监控后,程序30s会扫描一次,并且自动拉起那些没有在运行的程序(比如失败了或者自己跑完了)。
网友评论
streamingpro-manager 的resource 目录有个sql文件,大家可以根据其创建表库。
这个sql文件在git 上的地址方便贴下么?搜索了整个工程都没找到
net.csdn.common.exception.RecordNotFoundException: 你请求的URL地址[/favicon.ico]不存在
at net.csdn.modules.http.RestController.dispatchRequest(RestController.java:90)
at net.csdn.modules.http.HttpServer$DefaultHandler.handle(HttpServer.java:184)
at org.eclipse.jetty.server.handler.HandlerList.handle(HandlerList.java:52)
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:97)
at org.eclipse.jetty.server.Server.handle(Server.java:499)
at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:311)
at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:257)
at org.eclipse.jetty.io.AbstractConnection$2.run(AbstractConnection.java:544)
at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:635)
at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:555)
at java.lang.Thread.run(Thread.java:745)
[2017-07-31 09:22:54,029][INFO ][modules.http.processor.impl] Completed 404 in 16ms GET /favicon.ico
http:
disable: false
port: 9009
host: 0.0.0.0
这个端口吗