美文网首页
Presto低延迟原理与容错

Presto低延迟原理与容错

作者: liuzx32 | 来源:发表于2020-06-18 18:21 被阅读0次

低延迟处理

  1. 基于内存的并行计算

  2. 流水式计算作业

  3. 本地化计算

Presto在选择Source任务计算节点的时候,对于每一个Split,按下面的策略选择一些minCandidates
优先选择与Split同一个Host的Worker节点
如果节点不够优先选择与Split同一个Rack的Worker节点
如果节点还不够随机选择其他Rack的节点

  1. 动态编译执行计划

  2. GC控制

容错

  1. 如果某个worker挂了,discovery service 会通知coordinator

  2. 对于query是没有容错的,一旦worker挂了,query就执行失败了,与其在这里容错不如直接执行

  3. coordinator 和discovery service 的单点故障问题还没有解决

相关文章

  • Presto低延迟原理与容错

    低延迟处理 基于内存的并行计算 流水式计算作业 本地化计算 Presto在选择Source任务计算节点的时候,对于...

  • Kafka个人学习总结

    WHAT 分布式发送-订阅消息系统 Feather 高吞吐率、低延迟 可扩展性 持久性与可靠性 高容错 高并发 k...

  • ==Presto实现原理和美团的使用实践 -

    Presto实现原理和美团的使用实践 -http://tech.meituan.com/presto.html F...

  • [Presto]实现原理和美团的使用实践

    Presto实现原理和美团的使用实践 -http://tech.meituan.com/presto.html P...

  • Presto连接器-grouped_execution功能要实现

    presto连接器-grouped_execution功能要实现的接口 原理 分组执行是presto在2017年就...

  • 2018-05-16

    storm是一款开源的、分布式的、低延迟的、可扩展的、容错的实时计算框架,采用clojure和java的混合编程,...

  • Spark Streaming 解析

    流式计算系统的特点 低延迟 容错性数据不丢失数据的送达计算状态的持久化计算迁移故障恢复 扩展能力 应用的逻辑表达能...

  • 目录

    基于presto0.155,以一条主线 : cli查询presto+hive返回 一、cli与presto通信机制...

  • RPC

    RPC原理及RPC实例分析 Dubbo与Zookeeper、SpringMVC整合和使用(负载均衡、容错)

  • Flink 原理详解

    Flink 是一个流处理框架,支持流处理和批处理,特点是流处理有限,可容错,可扩展,高吞吐,低延迟。 流处理是处理...

网友评论

      本文标题:Presto低延迟原理与容错

      本文链接:https://www.haomeiwen.com/subject/poxpxktx.html