目前发现tidb在运行期间，大量insert into 操作发现写入效率变低。
5ace0db02e29b3233ef3670c4ae02f7.png
之前是发现有大量死锁，但是spark streaming程序处理速度还可以。
image.png
但是处理速度一直在4000/S左右。在清理历史数据后，truncate掉了相关表1个月的分区，大概清理2000个region。处理速度一下就降低了一半。
image.png
并且spark streaming的反压机制也没有搞清楚。重启程序后消费能力正常，在运行一段时间后，开始积压并启动反压，消费能力忽高忽低。
相关原因还在研究中。待续
网友评论