提交方式

使用参数jars即可

--jars "/path/to/local/xxx.jar"

pyspark代码中使用方式

sc._jvm.demo.FeatureCalculateDemo
或者
spark._jvm.demo.FeatureCalculateDemo

此处 demo.FeatureCalculateDemo 为自己的类的引用路径

遇到的坑

在使用过程中如果需要将spark session传入jar内的方法，直接传入pyspark的sparksession会出现

AttributeError: 'SparkSession' object has no attribute '_get_object_id'

此时只需要将spark session改为java的spark session。
具体如下
原始代码假设为 spark._jvm.demo.FeatureCalculateDemo(spark, 10)
修改后为 spark._jvm.demo.FeatureCalculateDemo(spark._jsparkSession, 10)

SpringBoot war包 jar包区别
Spring Boot支持发布jar包和war包，推荐使用jar包的形式，使用jar包比较方便区别 pom文件p...
pyspark排雷
问题执行计算时，抛出异常：经过查询，发现时pyspark jar 包相比运行时java环境的版本太低，于是试图...
Android studio如何使用jar/aar包（二）
上一篇说到如何创建jar/aar，这篇介绍如何使用一 jar的使用 jar包的使用很简单，直接将jar包拷如li...
SpringBoot部署
打包方式有jar包和war包 1. jar包(推荐) jar包方式启动，也就是使用SpringBoot内置的tom...
Spring之使用注解实例化Bean并注入属性
1.准备工作（1）导入jar包除了上篇文章使用到的基本jar包外，还得加入aop的jar包，所有jar包如下 ...
01 Spring的简单配置和使用
Spring需要的jar包文章中 Spring 使用的版本是 3.2.18 ，需要的 jar 包如下：使用 ...
部署springboot项目并使用Nginx置域名
使用maven打jar包 pom.xml 使用jar包方式打包配置资源过滤：使用IDEA的maven工具进...
Spring Boot 发布 jar 包转为 war 包秘籍。
Spring Boot是支持发布jar包和war的，但它推荐的是使用jar形式发布。使用jar包比较方便，但如果是...
Jupyter配置教程
将jupyter notebook作为pyspark的默认编辑器安装pyspark通过拷贝pyspark包安装源...
spring 编程式事物&声明式事物
jar包 jdbcTemplate基本使用 -----------------------------------...