目录
1.系统架构
2.环境搭建
2.1本地环境下kafka批量导入数据
2.2 kafka-manager的安装与配置
3.1 Spark Streaming 性能调优(一): 解决并行度
3.2 Spark Streaming 性能调优(二): 解决task倾斜

下载

kafka-manager是开源的, 想下载的话直接到github上clone获取去relaease那里下载就行

• github主页: https://github.com/yahoo/kafka-manager
• release页面: https://github.com/yahoo/kafka-manager/releases

编译

下载完成后我们得到的是kafka-manager的源代码, 想运行kafka-manager还需要将其编译

• 由于编译时需要用到sbt下载依赖jar包, sbt默认又是用的国外源, 所以下载速度奇慢, 建议将sbt的下载源改成阿里云的私有云:
  ①.安装好sbt后, 一般你电脑的主目录/home/your_user_name/下一般都会有.sbt这个文件夹, 这个文件夹是隐藏的, 文件管理器可能看不到, 请用命令行打开.
  ②.在根目录下新建文件repositories,并编辑如下内容:

[repositories]
#local
public: http://maven.aliyun.com/nexus/content/groups/public/
typesafe:http://dl.bintray.com/typesafe/ivy-releases/ , [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
ivy-sbt-plugin:http://dl.bintray.com/sbt/sbt-plugin-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
sonatype-oss-releases

sonatype-oss-snapshots

保存退出
这样sbt下载就会使用阿里云的源了

• 设置好国内的源后,就可以动手编译了
  ①.进入kafka-manager的解压目录,进入/bin文件夹,执行命令:

./sbt clean dist

之后就是漫长的等待(我的编译了5676s......)
②.编译完成后, kafka-manager的解压目录下就会多了一个target文件夹, 我们的可执行程序就在target/universal/kafka-manager-xxx.zip里面
③.解压这个kafka-manager-xxx.zip后,进入/bin就能运行kafka-manager

运行

在运行之前,我们还需要修改下kafka-manager的配置:

进入刚刚编译好的kafka-manager可执行程序的根目录下, 找到/conf/application.conf文件, 打开并修改:

kafka-manager.zkhosts="localhost:2181"

然后, 进入/bin目录, 执行:

./kafka-manager

即可运行, 不过要注意的是, 在开启kafka-manager之前, 记得开启zookeeper和kafka两个服务

配置

①.运行:

进入kafka-manager根目录下的/bin文件夹, 执行命令:

./kafka-manager

即可运行kafka-manager, 默认绑定的是9000端口, 打开localhost:9000后, 如果出现下图:

kafka-manager主页截图

即表明kafka-manager启动成功.

②.新建集群:

点击下图中画红框的按钮:

新建集群1

即可弹出新建集群的界面:

新建集群2

具体的参数我还在研究, 以后再完善吧.
点击最下方的save即可新建集群.

③.新建topic

同样地, 新建topic与新建集群一样, 点击界面上方:

新建topic

就会弹出新建topic的界面, 相关的参数我还在研究, 以后再回来完善.

参考文章: https://www.jianshu.com/p/e59c777f7f4e