问题：
有个hive2clickhouse任务，在foreachPartition中的逻辑出错时会触发stage的容错，最终任务是成功状态，但clickhouse中的数据会存在重复。（失败前已经写过一部分，clickhouse的主键又不能保证数据一致性）
期望在失败时立即停止运行，由人工干预修复整个任务。
代码大致逻辑如下：
sql.toJavaRDD().repartition(10).foreachPartition(records -> {
// 控制批次写clichouse的逻辑，此处经常会遇到clickhouse负载大而失败
});
解决方案：
设置spark task失败后不再重试，对应参数为： spark.task.maxFailures
@Override
protected SparkConf getSparkConf() {
SparkConf conf = super.getSparkConf();
conf.set("spark.task.maxFailures", "1");
return conf;
}
参考：
问题： 有个hive2clickhouse任务，在foreachPartition中的逻辑出错时会触发stage的...
简介 工作中我们遇到了把Hive数据同步到Clickhouse的业务需求，一开始我们写Spark任务，用Spark...
1）如果spark任务执行成功，不会自动重试2）如果spark任务执行失败，手动提交时不会重试3）如果spark任...
调试目的 通过1、存在数据倾斜2、spark sql 执行过程中，重试次数太多 日志1 日志2 日志3spark-...
本文分享主要是ClickHouse的数据导入方式，本文主要介绍如何使用Flink、Spark、Kafka、MySQ...
在实际开发中，我们需要在后台处理一些异步任务，比如说网络请求和数据的存储，根据业务的需要可能要有优先级和重试机制和...
ClickHouse 是一个真正的列式数据库管理系统（DBMS)。在 ClickHouse 中，数据始终是按列存储...
问题 我希望定时执行一个spark任务，来做数据同步在crontab中设定了定时启动spark-submit，到时...
如何快速地将Hive中的数据导入ClickHouse ClickHouse是面向OLAP的分布式列式DBMS。我们...
如何快速地把HDFS中的数据导入ClickHouse ClickHouse是面向OLAP的分布式列式DBMS。我们...
本文标题：spark任务级重试导致的clickhouse中数据不一致
本文链接：https://www.haomeiwen.com/subject/fgeazktx.html
网友评论