Tensorflow分布式简单实践

之前在公司的项目用了tf的分布式，但是效率一直很低，经过一些简单的调试也没有解决问题。还是得把基础概念一一搞清，才能有针对性地解决问题。所以开始看《Hands On Machine Learning with Scikit Learn and TensorFlow》里的相关章节，并做下记录。

单机多卡

分布式可以理解为把计算分配到多个设备上，并让他们协同工作。最简单的模式就是在一台机器上的多个设备。

tensorflow分配计算单元的默认规则就是优先分配到GPU0上（如果没有GPU就是CPU0），如果用户设定了条件就按用户的设定放置。

未完待续...