从一条千兆网线到四条
从单个RAID1盘到多个不做raid盘，吞吐量有所提高，但是磁盘容易不均衡，容易挂掉
因为业务的topic有大有小，而kafka一般是按partition个数均衡的，所以一般是预先分配好大的topic，让分布均衡，再接着用小的。
有出现过一个问题，一个topic的很多partition落在同一个盘上。
kafka同一机器内的磁盘没做容量的balance，所以容易倾斜。有时需要手动移动到其他盘。这时需要停掉那台机器的服务，再移动。更改元数据文件。
磁盘尽量比单个partition大很多倍，这样好分配
大的topic的partition数量尽量是总磁盘个数的倍数
数据有顺序要求的，需要写到同一个partition上
kafka只对磁盘和网卡要求高，cpu和内存等要求不高，所以集群扩容可以优先加网卡和磁盘大小
网卡的模式从mode0改为mode6，避免丢包
机器的最大文件句柄数要相应的调大
kafka 0.10.0.0有一个bug是kafka服务停掉后，log文件日期被刷新到最新的，无法过期删掉
网友评论