美文网首页
Presto低延迟原理与容错

Presto低延迟原理与容错

作者: liuzx32 | 来源:发表于2020-06-18 18:21 被阅读0次

    低延迟处理

    1. 基于内存的并行计算

    2. 流水式计算作业

    3. 本地化计算

    Presto在选择Source任务计算节点的时候,对于每一个Split,按下面的策略选择一些minCandidates
    优先选择与Split同一个Host的Worker节点
    如果节点不够优先选择与Split同一个Rack的Worker节点
    如果节点还不够随机选择其他Rack的节点

    1. 动态编译执行计划

    2. GC控制

    容错

    1. 如果某个worker挂了,discovery service 会通知coordinator

    2. 对于query是没有容错的,一旦worker挂了,query就执行失败了,与其在这里容错不如直接执行

    3. coordinator 和discovery service 的单点故障问题还没有解决

    相关文章

      网友评论

          本文标题:Presto低延迟原理与容错

          本文链接:https://www.haomeiwen.com/subject/poxpxktx.html