美文网首页MLSQL
StreamingPro manager 服务部署指南

StreamingPro manager 服务部署指南

作者: 祝威廉 | 来源:发表于2017-07-16 17:12 被阅读913次

前言

StreamingPro中的 streamingpro-manager 提供了部署,管理Spark任务的Web界面。轻量易用。

编译

编译SF框架:

git clone https://github.com/allwefantasy/ServiceFramework.git
cd ServiceFramework
mvn install -Pscala-2.11 -Pjetty-9 -Pweb-include-jetty-9

编译streamingpro-manager:

git clone https://github.com/allwefantasy/streamingpro.git
mvn clean package  -pl streamingpro-manager -am  -Ponline -Pscala-2.11  -Pshade

之后你应该在streamingpro-manager/target有个jar包

创建数据库表

streamingpro-manager 的resource 目录有个sql文件,大家可以根据其创建表库。

启动以及启动参数

java -cp ./streamingpro-manager-0.4.15-SNAPSHOT.jar streaming.App \
-yarnUrl yarn resource url地址 比如master.host:8080 \
-jdbcPath  /tmp/jdbc.properties \
-envPath   /tmp/env.properties

jdbcPath指定jdbc连接参数,比如:

url=jdbc:mysql://127.0.0.1:3306/spark_jobs?characterEncoding=utf8
userName=wow
password=wow

你也可以把这些参数写到启动参数里。但是前面加上jdbc.前缀就可。比如:

java -cp ./streamingpro-manager-0.4.15-SNAPSHOT.jar streaming.App \
-yarnUrl yarn resource url地址 比如master.host:8080 \
-jdbc.url a \
-jdbc.userName a \
-jdbc. password b 

envPath 里面放置的是你为了使用spark-submit 需要配置的一些参数,比如:

export SPARK_HOME=/opt/spark-2.1.1;export HADOOP_CONF_DIR=/etc/hadoop/conf;cd $SPARK_HOME;

管理界面

第一个界面是上传Jar包:

WX20170716-165826@2x.png

第二界面是提交任务:

WX20170716-165856@2x.png

勾选依赖的jar包,选择主jar包,然后做一些参数配置,然后点击提交会进入一个进度界面。

第三个界面是管理页面。

WX20170716-165808@2x.png

任务能够被监控是要求已经在Yarn上申请到了applicationid。所以如果提交失败了,点击监控按钮是无效的。如果你的程序已经提交过一次并且获得过applicationid,那么你点击监控后,程序30s会扫描一次,并且自动拉起那些没有在运行的程序(比如失败了或者自己跑完了)。

相关文章

网友评论

  • 7d9d799b35ee:请问写,监控那个功能是干什么的?
    祝威廉:@7d9d799b35ee 失败后会重新提交
  • ad2a188b727a:sql server 就是第四个页面还没有实现是么?
  • 专业补刀:创建数据库表

    streamingpro-manager 的resource 目录有个sql文件,大家可以根据其创建表库。

    这个sql文件在git 上的地址方便贴下么?搜索了整个工程都没找到
    祝威廉:@专业补刀 streamingpro/streamingpro-manager/src/main/resources-local/spark_jobs_2017-07-18.sql
  • 5282a211c648:报错了:[2017-07-31 09:22:54,027][ERROR][modules.http ] System processing error
    net.csdn.common.exception.RecordNotFoundException: 你请求的URL地址[/favicon.ico]不存在
    at net.csdn.modules.http.RestController.dispatchRequest(RestController.java:90)
    at net.csdn.modules.http.HttpServer$DefaultHandler.handle(HttpServer.java:184)
    at org.eclipse.jetty.server.handler.HandlerList.handle(HandlerList.java:52)
    at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:97)
    at org.eclipse.jetty.server.Server.handle(Server.java:499)
    at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:311)
    at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:257)
    at org.eclipse.jetty.io.AbstractConnection$2.run(AbstractConnection.java:544)
    at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:635)
    at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:555)
    at java.lang.Thread.run(Thread.java:745)
    [2017-07-31 09:22:54,029][INFO ][modules.http.processor.impl] Completed 404 in 16ms GET /favicon.ico
    祝威廉:@小小火柴_7dbc 哦 是这个:sweat_smile:
    5282a211c648:@祝威廉 不是 /root/cg/streamingpro/streamingpro-manager/src/main/resources-online/application.xml 文件中的
    http:
    disable: false
    port: 9009
    host: 0.0.0.0
    这个端口吗
    祝威廉:@小小火柴_7dbc 这个不影响。因为你访问的时候,如果是web浏览器会请求favicon.ico 作为tab标签页的icon。 你访问这个地址: http://127.0.0.1:9004/jobs.html
  • 5282a211c648:页面没有端口吗?
    祝威廉:@小小火柴_7dbc 有的 默认是9003或者9004

本文标题:StreamingPro manager 服务部署指南

本文链接:https://www.haomeiwen.com/subject/cqtxkxtx.html