Kafka的传输机制

Kafka的topic主要分为partitions和replication-factor。

• replication-factor主要是备份的问题，在MXNet的加速方案上我们可以暂时不考虑，即1即可。

• partitions在不同kafka node，按照around去分布。这样可以加快读取。例如读取500条，可能在3个partitions上均匀分布能每台node读取167左右。

  待确认：

  • 顺序是有保证的?
  • producer给partitions是平衡的吗？
  • 已知producer可以指定partitions，要指定吗？