SparkSession spark = SparkSession.builder()
.config("spark.mongodb.input.uri", URI)
.config("spark.mongodb.output.uri", URI)
.getOrCreate();
经查，在URI里面直接写域名是不对的，把要用到的集群入口的全部机器的Host都写上就没有问题了。
通过域名来分配机器，假如在A机器里面执行了一个Query操作，后续取数据的时候又给它分配个B机器，B机器都没有执行这个操作，肯定就取不到数据了。
String URI = "mongodb://mongosDomainName:27017/test.myCollection";
把机器都放在那里，让Spark自己管理。
String URI = "mongodb://192.168.0.1,192.168.0.2,192.168.0.3:27017/test.myCollection";
经查，在URI里面直接写域名是不对的，把要用到的集群入口的全部机器的Host都写上就没有问题了。 通过域名来分配机...
spark 连接PG报错：“sorry,too many clients already. ”经过分析是PG连接数...
问题：spark sql连接hive的元数据（mysql库）时报错：Specified key was too l...
本文介绍了使用Spark连接Hive的两种方式，spark-shell和IDEA远程连接。 1.spark-she...
CDH 集群，Spark 升级到 2.3 后，运行任务报错： 运行 spark-shell 也会报错，原因是，分配...
《Mongos readWrite权限的账号 看不到绑定db上的collection》情况分析 观察连接数是否有波...
spark连接mysql
mongodb基本操作 spark连接并读取mongodb spark写入mongodb
1、背景：进入spark集群，cd/spark,执bin/spark-sql,报错 2、解决方法2.1、是hive...
会报错 spark参数可选值缺省值注释spark.submit.deployModeclient、clusterc...
本文标题：Spark连接Mongos报错：com.mongodb.Mong
本文链接：https://www.haomeiwen.com/subject/wyjopxtx.html
网友评论