spring boot + spark记录

spark的强大不再赘述，可以自行百度

spring boot是java中创建微服务中一个最基础的框架

下面是记录spring boot集成spark处理数据出现的一些错误及记录

spring boot + spark 构建工程 ：maven配置：

添加spring boot  web支持 spark中jackson包与springboot 中jackson包冲突，因此添加依赖时排除spark中的jackson包 添加jsersey依赖 scala包依赖

启动时报 java.lang.verifyerror 错误分析错误为 com.fasterxml.jackson 包的版本问题，springboot 自带 jackson包版本为2.6.6，而spark为2.4.4;构建时排除spark的Jackson包：com.fasterxml.jackson.corejackson-databind发现仍然出现上面错误，再次分析确认spark自带依赖jackson-module-scala_2.10 的包为2.4.4；即默认支持的是2.4.4版本的Jackson包将此改为jackson-module-scala_2.10 2.6.6版本

修改spark中jackson modolu

启动成功

第一次用简书写日志，真麻烦，代码不知道怎么粘贴