BigDL入门 （5）- 参数优化

    在参数优化过程中，多个子模型的协同是最大的难点。对于采用同步迭代的框架来说，参数同步阶段的性能损耗往往容易成为模型训练瓶颈，而BigDL则通过巧妙的设计实现了简单和高性能的良好平衡。

    通常而言，为了实现高效的参数同步，往往需要借助于参数服务器。参数服务器通常是一组独立于训练任务的进程（也可以共用），将模型参数以分片的形式分别加载于这些进程之内，在训练过程中，优化器通过参数服务器实现各个子模型间参数和梯度的同步。

    参数服务器虽然有效，然而实现时需要考虑的细节却很多，如资源调度，高可用等（关于Spark之上的参数服务器，不妨了解一下Angel）。除此以外，在使用参数服务器时，参数服务的配置（cpu，内存，参数服务与训练进程的比例等）也需要足够实践经验。因此，BigDL抛弃了传统参数服务器的做法，在实现上采用了与Spark结合更加紧密的方式，在保证性能的前提下，既降低了实现难度，又增强了易用性。