kafka消费的时候起来多个线程来对应partition，我们处理消费数据的业务逻辑是先按主键删除，然后再插入新的数据；
但是由于topic产生的数据同一个主键会一秒内有100条左右，分布在多个partition，所以多个线程会同时执行删除和插入，
这会导致数据库产生主键冲突，因为有的线程已经写入了，有的在删除，混在一起。导致不停的报错，主键已存在。
解决方法就是给处理删除和插入的方法加一个锁，我这里用的是sychronized加到方法上，就够用了。
kafka消费的时候起来多个线程来对应partition，我们处理消费数据的业务逻辑是先按主键删除，然后再插入新的数据；
但是由于topic产生的数据同一个主键会一秒内有100条左右，分布在多个partition，所以多个线程会同时执行删除和插入，
这会导致数据库产生主键冲突，因为有的线程已经写入了，有的在删除，混在一起。导致不停的报错，主键已存在。
解决方法就是给处理删除和插入的方法加一个锁，我这里用的是sychronized加到方法上，就够用了。
python kafka多线程消费数据[https://www.cnblogs.com/qiaoer1993/p/...
前言 需要对Kafka有一定的了解 先抛出几个问题: spring boot kafka使用 如何配置多线程消费？...
上一篇[Java多线程之并发协作生产者消费者设计模式]已经讲述了在Java的多线程中，如何处理并发安全的生产者消费...
自己动手写了一个kafka消费实例，但是执行时总是报错： 在kafka的配置文件server.properties...
kafka 消费者offset记录位置和方式 我们大家都知道，kafka消费者在会保存其消费的进度，也就是offs...
简介 这几天，有个大兄弟问，如何实现 kafka 多线程批消费，目标： 确保 exactly once 语义 数据...
多线程环境下，我们经常需要多个线程的并发和协作。这个时候，就需要了解一个重要的多线程并发协作模型“生产者消费者模式...
多线程环境下，我们经常需要多个线程的并发和协作。这个时候，就需要了解一个重要的多线程并发协作模型“生产者/消费者模...
章节： 多线程并发 (一) 了解 Java 虚拟机 - JVM 多线程并发 (二) 了解 Thread 多线程并发...
在并发情况下, 允许多个消费者消费同一个消息队列, 并保证消息被消费的基本语义(Kafka的模式). 通过消费者之...
本文标题：Kafka多线程消费并发报错记录
本文链接：https://www.haomeiwen.com/subject/pfrlydtx.html
网友评论