参考:https://www.miidc.com/news/content40606.html
producer: 两重优化(1)顺序i/o,提高硬盘读写速度
(2) MMFile (memory mapped file),又称mmap
删除硬盘数据策略:一是基于时间,二是基于partition文件大小
利用操作系统分页存储利用内存 提升I/O
消费者:以上两项技术都为了kafka的cheating做了准备
策略:zero copy 直接从内核空间(DMA的)到内核空间(Socket的),然后发送网卡
Kafka消息发送提供的两种方式——Push,全部提交;Pull,按需发送
网友评论