高容错分布式计算系统，就是要让系统高可用。您的问题可以理解为如何设计高可用的分布式计算系统。
高可用的分布式计算系统的设计通常需要做到：冗余，故障自动转移，状态同步，资源调度，系统自检，故障恢复，伸缩方便等。。。
我们可以参考当下比较流行的分布式计算框架，看看别人如何设计的。例如：MapReduce，Spark，Storm等。
MapReduce：分布式离线计算框架。在运行的时候根据文件块自动分配计算节点，和线程，在运行的过程中如果某个节点失败，则会尝试在别的节点去执行。
适合数据复杂度运算 不适合算法复杂度的运算 不适合实时计算、流式计算、DAG有向图计算 综上，要求算法足够简单，数据可以足够大！
MapReduce包含四个组成部分 Client， JobTracker， TaskTracker ，Task。
hadoop-MapReduce模型实现图
Map流程：
1，Inputformat：首先将 HDFS 中的数据以 Split 方式作为 MapReduce 的输入。Mapper：每个Mapper 将输入(key,value)数据解析成输出(key,value)。
2，Partition：根据key或value及reduce的数量来决定当前的这对输出数据最终应该交由哪个reduce task处理（ Partitioner接口，默认自动完成，可定制）。
3，Combine：缓存溢写时完成，如果有很多个相同key/value对需要发送到某个reduce端去，那么需要将这些key/value值拼接到一块，减少与partition相关的索引记录（reducer接口，默认自动完成，可定制） 。
4，Merge：溢写文件合并，同时再次执行Combiner（默认自动完成）。
Map 流程
Reduce流程
1，Copy：简单地拉取数据 Merge：同map
2，Merge，文件合并
3，Reducer：每个Reducer将输入(key,value)数据解析成输出(key,value) 把结果放到HDFS上
Reduce流程
spark：分布式在线批量计算框架。可以实时执行批量计算命令。依赖内存资源。将RDD存放于内存，方面后续计算能够持续复用。
spark工作示意图
Storm是实时流式计算框架。主要是无法忍受MapReduce的高延迟。Storm的核心组件有Nimbus、Supervisor、Worker、Task、Topology、Stream、Spout、Bolt、Stream grouping、Reliability。
Storm
在我的日常工作，还没有自己去设计一套高可用的分布式计算框架。大多也只是研究目前市场主流的计算框架，理解其中的设计思想和框架中体现的架构思路，最终灵活应用与工作中的其它场景。
如果您觉得我用心了，觉得您有所收获，麻烦关注下我吧，您的关注就是我的动力，因为有你，我就不是一个人在前行。
数据僧
欢迎来找 数据僧 一起探讨大数据相关的问题。评论区留言，我们一起讨论。
网友评论