核心概念

TensorFlow 中的计算可以表示为一个有向图（directedgraph），或称计算图（computation graph），其中每一个运算操作（operation）将作为一个节点（node），节点与节点之间的连接称为边（edge）。这个计算图描述了数据的计算流程，它也负责维护和更新状态，用户可以对计算图的分支进行条件空值或循环操作。

实现原理

TensonFlow 有一个重要的组件client，客户端，它通过Session的接口与master及多个worker相连。

worker : 每个worker可以与多个硬件设备（device）相连。比如：CPU或GPU，并负责管理这些硬件

master ：负责指导所有的worker按流程执行计算图。

反向传播算法

当TensorFlow计算一个tensor C关于tensor I的梯度时，会先寻找从I到C的正向路径，然后从C回溯到I，对这条回溯路径上的每一个节点增加一个对应求解梯度节点，并根据链式法则（chain rule）计算总梯度。

TensorFlow 并行计算模式

数据并行：通过将一个mini-batch的数据放在不同设备上计算，实现梯度计算的并行化。

模型并行：将计算图的不同部分放在不同的设备上运算，可以实现简单的模型并行，其目标在于减少每一轮训迭代的时间，不同于数据并行同时进行多份数据的训练。

流水线并行：和异步的数据并行很像，只不过是在同一个硬件设备上实现并行。