spark.yarn.archive和spark.yarn.jars都是 Apache Spark 中与 YARN（Yet Another Resource Negotiator）集群管理器相关的配置参数。
spark.yarn.archive：
这个配置项指定了一个包含 Spark 应用程序和其依赖的归档文件（archive file）的路径。这个归档文件通常是一个包含了所有需要的 JAR 文件和其他依赖项的压缩文件（如 ZIP 或 JAR 文件）。
使用这个配置项的目的是将 Spark 应用程序及其依赖项打包成一个文件，方便在 YARN 集群上进行分发和共享。
spark.yarn.jars：
这个配置项指定了一个包含 Spark 应用程序依赖项的目录，这些依赖项以 JAR 文件的形式存在。
与spark.yarn.archive不同，spark.yarn.jars不会将所有依赖项打包成一个归档文件，而是将它们分别列出并指定它们所在的目录。
总的来说，spark.yarn.archive和spark.yarn.jars都是用来配置 Spark 应用程序在 YARN 上运行时如何处理依赖项的。前者将所有依赖项打包成一个归档文件，而后者则是通过指定一个包含依赖项的目录来处理它们。
选择使用spark.yarn.archive还是spark.yarn.jars取决于具体的使用场景和需求，没有一种方式绝对更好或更高效，而是取决于你的应用程序的特性和集群环境。以下是一些考虑因素：
spark.yarn.archive：
优势：
将所有依赖项打包成一个归档文件，可以减少分发和启动应用程序的时间，特别是当依赖项较多时。
可以更容易地管理应用程序的依赖项，减少手动管理 JAR 文件的复杂性。
劣势：
归档文件可能会变得很大，特别是当应用程序依赖项很多时。这可能导致分发归档文件的时间较长。
如果多个应用程序使用相同的依赖项，可能会浪费存储空间，因为每个应用程序都需要拷贝一份依赖项的归档文件。
spark.yarn.jars：
优势：
可以更灵活地管理依赖项，每个应用程序都可以指定自己的依赖项目录，不需要共享整个归档文件。
对于依赖项较少的应用程序，分发和启动时间可能较短。
劣势：
对于依赖项较多的应用程序，可能需要手动管理多个 JAR 文件，增加了部署的复杂性。
可能会导致在集群中存在多个拷贝相同的依赖项，浪费存储空间。
综合考虑，如果你的应用程序依赖项较多，且这些依赖项在多个应用程序之间共享，那么使用spark.yarn.archive可能更为合适。如果每个应用程序的依赖项较少，且你更喜欢灵活管理每个应用程序的依赖项，那么使用spark.yarn.jars可能更适合你。
网友评论