美文网首页Hadoop大数据
kafka connect:task是如何分配的?

kafka connect:task是如何分配的?

作者: 阿猫阿狗Hakuna | 来源:发表于2019-02-19 14:28 被阅读0次
    image.png

           Worker会通过协调者获取分配的连接器与任务。Worker客户端为了加入到组管理中,通过客户端的协调者对象(WorkerCoordinator)来和服务端的消费组协调者(GroupCoordinator)通信。
           Worker组的每个Worker成员用WorkerGroupMember表示,WorkerCoordinator继承了抽象的AbstractCoordinator类。抽象类实现了组管理协议,它的主要方法是ensureActiveGroup(),客户端调用该方法,最终可确保组成员得到协调者返回的分配结果。
           task的分配策略是在具体的connector实现类中的taskConfigs方法实现的,这个方法定义了所有任务的配置信息,每个任务的配置不同,就可以处理不同的数据。

    相关文章

      网友评论

        本文标题:kafka connect:task是如何分配的?

        本文链接:https://www.haomeiwen.com/subject/bhzxyqtx.html