gitee地址：
https://gitee.com/uxue/dataCollection
dataCollection版本号 0.0.7

部署系统环境 centos7

需要用到的东西：

1、Oracle驱动包
链接：https://pan.baidu.com/s/10xXwfrB1s2v2mf7TXY9LZQ?pwd=6hn6 提取码：6hn6
2、连接Mysql5.1.49驱动包
链接：https://pan.baidu.com/s/1hs60uRIrZlEvq78mwljR8g?pwd=kamq 提取码：kamq
3、清除log免配置版webSpoon下载
清除缓存版本链接：链接https://pan.baidu.com/s/1LzQ1GszrXqv3qE5GQJUl5w?pwd=mmtq 提取码：mmtq

原始下载地址：https://pan.baidu.com/s/1z76Zj7a__2b8_DEzA3_deQ 提取码: fs3s
原始版在'\webSpoon\bin\system\karaf\caches'路径下有缓存文件
运行tomcat时会在D盘和C盘用户路径下生成'陈钊'相关的文件
添加了mysql-connector-java-5.1.49的驱动（原5.1.47）

4、maven 3.9.4
链接：https://pan.baidu.com/s/1oNLunvnO-eGr-cvlshBr3A?pwd=101n 提取码：101n
5、jdk8
链接：https://pan.baidu.com/s/1pcYpm52HzfriHxM3d5eSXg?pwd=sfoc 提取码：sfoc

部署

我用宝塔面板部署的，所以省略Mysql部署步骤。

JDK部署

可以看看这几种安装方法：https://abing.run/archives/baotainstalljdk
centos7自带jre，jre只作运行用，在编译项目时需要jdk，所以编译会报错，要切换成jdk
将jdk-8u131-linux-x64.tar.gz上传至/home

cd /home
tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/lib/java-1.8.0

*如果系统中有alternatives需要做以下切换
alternatives的具体介绍：https://blog.csdn.net/myself88129/article/details/129991232

#先执行以下，如果有输出，不是命令报错则往下执行
alternatives --config java
#往下执行
alternatives --install /usr/bin/java java /usr/lib/java-1.8.0/jdk1.8.0_131/bin/java 3
alternatives --config java
3 #选择3回车切换jdk

添加环境变量——JDK部署

vim /etc/profile

将以下粘入profile——JDK部署

export JAVA_HOME=/usr/lib/java-1.8.0/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export PATH=${JAVA_HOME}/bin:$PATH
export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar

#刷新一下，否则命令不生效
source /etc/profile

maven部署

mkdir /usr/local/maven
tar -zxfv /home/apache-maven-3.9.4-bin.tar.gz -C /usr/local/maven

#打开/usr/local/maven/apache-maven-3.9.4/conf/settings.xml
#复制以下配置到161行保存关闭
    <mirror>
      <id>nexus-aliyun</id>
      <mirrorOf>central</mirrorOf>
      <name>Nexus aliyun</name>
      <url>https://maven.aliyun.com/repository/public</url>
    </mirror>

添加环境变量——maven部署

vim /etc/profile

将以下粘入profile——maven部署

export JAVA_HOME=/usr/lib/java-1.8.0/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export PATH=${JAVA_HOME}/bin:$PATH
export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar

#刷新一下，否则命令不生效
source /etc/profile

webSpoon部署

mkdir -p /usr/local/ETL/required
mkdir -p /usr/local/ETL/dispcManage
cd /usr/local/ETL/required #以上1、3将文件传入这个目录
tar -xvf openstack_test.tar -C /tmp
#1 webSpoon
sudo unzip webSpoon.zip -d /usr/local/ETL/webSpoon #将webSpoon解压到这个路径下

## dataCollection
调度后台部署（spring boot）

cd /usr/local/ETL/dispcManage
git clone https://gitee.com/uxue/dataCollection.git
cd /usr/local/ETL/dispcManage/dataCollection
#最后的路径是上一步骤上传oracle驱动包的路径
mvn install:install-file -DgroupId=com.oracle -DartifactId=ojdbc6 -Dversion=11.2.0 -Dpackaging=jar -Dfile=/usr/local/ETL/required 

数据库导入

#将该文件夹下sql导入数据库
/usr/local/ETL/dispcManage/dataCollection/doc/sql

等待打包完成

mkdir /usr/local/ETL/dispcManage/run
cp /usr/local/ETL/dispcManage/dataCollection/src/main/resources/app* /usr/local/ETL/dispcManage/run
cp /usr/local/ETL/dispcManage/dataCollection/target/dataCollection-0.0.7-SNAPSHOT.jar /usr/local/ETL/dispcManage/run

修改配置文件
application-kettle.yml

kettle:
  log-file-path: /usr/local/ETL/dispcManage/logs/${spring.application.name}/run-logs
  encoding: utf-8
  upload-path: /usr/local/ETL/dispcManage/var/kettle-script-file
  kettle-home: /usr/local/ETL/dispcManage/var/file-rep
  kettlePluginPackages: /usr/local/ETL/webSpoon/bin/plugins

application-mysql.yml

#数据库名、用户名和密码改为自己的
spring:
  datasource: # 数据库链接
    url: jdbc:mysql://127.0.0.1:3306/etl_dispc_manage?useUnicode=true&characterEncoding=utf8&useSSL=false&allowPublicKeyRetrieval=true&serverTimezone=GMT%2B8
    username: root
    password: root
    driver-class-name: org.gjt.mm.mysql.Driver

application.yml

#33行
  url: 192.168.1.100:9527/spoon/spoon#改为webSpoon地址（用于编辑时自动跳转）
#79行
drives-dir: /usr/local/ETL/dispcManage/drives/

启动项目

webSpoon

cd /usr/local/ETL/webSpoon/bin
sudo startup.sh

dataCollection调度后台

cd /usr/local/ETL/dispcManage/run
#jdk不对会报错
java -jar dataCollection-0.0.7-SNAPSHOT.jar
# 后台运行方法：
# nohup java -jar dataCollection-0.0.7-SNAPSHOT.jar &

打开192.168.1.100:8080/spoon/spoon即可启动webSpoon
打开192.168.1.100:7080/即可启动webSpoon

---

遇见的错误

1.Mysql大小写忽略

切到MySQL配置文件挂载的目录

cd /mysql/conf/

编辑 my.cnf 配置文件

vim my.cnf

在 [mysqld] 下面添加: lower_case_table_names=1

2.webSpoon保存ktr时报400错误

webSpoon在保存ktr时，会遇到获取文件路径失败的问题。

解决方案：
在执行tomcat时，添加转义支持
https://www.cnblogs.com/xusir/p/16138860.html

vim tomcat/conf/catalina.properties
 
#在最后添加两行配置
 
tomcat.util.http.parser.HttpParser.requestTargetAllow=|{}
org.apache.tomcat.util.buf.UDecoder.ALLOW_ENCODED_SLASH=true

4.mvn编译dataCollection时报错

检查oracle驱动包、Mysql驱动包
原版5.1.47我用时候报错了，所以切换成5.1.49了

3.登录报错

org.apache.shiro.authc.UnknownAccountException: null
暂未解决