美文网首页kafka
【kafka】kafka 知多少(2)?

【kafka】kafka 知多少(2)?

作者: Bogon | 来源:发表于2022-10-17 00:19 被阅读0次

    要清除kafka所有的缓存信息,要删哪些目录?
    我现在重装时删除了log.dirs指定的目录再重新发布时会自动创建以前的topic,而且没有__consumer_offset。

    1. 关闭集群和ZooKeeper
    2. 删除log.dirs配置的目录下的内容
    3. 删除ZooKeeper路径下的内容
    4. 重启ZooKeeper和集群

    在Kafka中如果要实现多租户,有什么需要考虑的,以及基本设计思路是什么?

    目前开源版的Kafka要实现多租户只能自己实现,有几个基本的事情要做:

    1. 构建完备的用户认证和权限体系
    2. 构建配额体系
    3. 构建完善的监控体系
    4. 开发方便的UI界面实现以上3点

    用kafka,在数据量大的时候会丢数据?

    我们这边量也很大,但是没有碰到过丢消息。可能还是配置的问题,当然Kafka重复消息倒是常见。

    请问kafca适合做两个系统之间的转账处理吗?
    请问kafca的使用案例中,最多支持过什么数量级的消费者和生产者?

    坦率说不合适,还是让数据库做
    你指的数量级是什么呢?
    如果是消息数,每天数十亿的系统我就接触过。国内大厂怕是更多了

    kafka的适用场景有哪些?有哪些必须要使用的场景?

    最主要的场景还是以消息队列的方式来应用或者说非常适合于event-driven式的上下游交互场景

    要求高性能、高可用、高可扩展性的大数据量批量处理系统,使用kafka作为数据缓存和消息传送中间件是否合适?

    非常合适

    作为开发在学习Kafka的时候的侧重点在哪些方面呢?

    可以关注下性能方面的问题。普通的kafka开发我觉得大家应该都能熟练掌握了

    kafka是怎么解决java nio的空轮询问题的?

    nio有的问题,kafka也没有规避,毕竟就是用了它的机制。

    如何看待? 与pulsar相比,pulsar都在宣称自己是为了解决kafka缺陷而设计?

    在我看来,Pulsar支持云原生方面确实比Kafka做的好,毕竟是在云时代长起来的消息队列

    系统时间跳变对kafka集群的影响,包括服务端log、元数据存储、消费端心跳等方面有多大影响?
    夏令时及某些测试用例有时间跳变的场景,发现时间跳变后kafka集群内部及客户端均会有异常。

    客户端的确可能有问题,特别是consumer。
    consumer内部还是依赖时间戳与当前时间的比较做一些事情。
    服务器端ISR判断也可能出现问题

    有些书上有说kafka大量采用批量和异步的思想使得同步收发消息的响应时延比较高,当业务场景中,每秒钟消息数量没有那么多的时候,Kafka 的时延反而会比较高,所以Kafka 不太适合在线业务场景 。
    这个请问您是怎么理解的,如果修改kafka的配置batch.size和linger.ms,那是否又会影响kafka的吞吐量?

    通常情况下,适度增加batch.size和linger.ms是会增加producer的TPS的,但可能是以牺牲消息发送延时为代价。看如何取舍了

    如何在k8s集群上部署高可用的kafka集群,请问有这方面的资料可以参考吗?

    https://www.confluent.io/resources/recommendations-for-deploying-apache-kafka-on-kubernetes/

    相关文章

      网友评论

        本文标题:【kafka】kafka 知多少(2)?

        本文链接:https://www.haomeiwen.com/subject/yfxrzrtx.html