spark的强大不再赘述，可以自行百度
spring boot是java中创建微服务中一个最基础的框架
下面是记录spring boot集成spark处理数据出现的一些错误及记录
spring boot + spark 构建工程 ：maven配置：
添加spring boot web支持
spark中jackson包与springboot 中jackson包冲突，因此添加依赖时排除spark中的jackson包
添加jsersey依赖
scala包依赖
启动时报 java.lang.verifyerror 错误分析错误为 com.fasterxml.jackson 包的版本问题，springboot 自带 jackson包版本为2.6.6，而spark为2.4.4;构建时排除spark的Jackson包：com.fasterxml.jackson.corejackson-databind发现仍然出现上面错误，再次分析确认spark自带依赖jackson-module-scala_2.10 的包为2.4.4；即默认支持的是2.4.4版本的Jackson包将此改为jackson-module-scala_2.10 2.6.6版本
修改spark中jackson modolu
启动成功
第一次用简书写日志，真麻烦，代码不知道怎么粘贴
网友评论