MXNet

首先

在incubator-mxnet/example/image-classification/中运行

python ../../tools/launch.py -n 2 -s 1 --launcher ssh -H hosts \
--sync-dst-dir /home/xugb/image-classification_test/  \
python train_mnist.py --network lenet --kv-store dist_sync

即python调用incubator-mxnet/tools/launch.py，同时传入参数

agrs	function
-n 2
-s 1
--launcher ssh
-H hosts
--sync-dst-dir /home/xugb/image-classification_test/
python train_mnist.py --network lenet --kv-store dist_sync

之后解析这些参数
-n 2 -s 1 --launcher ssh -H hosts --sync-dst-dir /home/xugb/image-classification_test/
和
python train_mnist.py --network lenet --kv-store dist_sync
并且根据这些配置，调用相应函数。

连接各主机

incubator-mxnet/3rdparty/dmlc-core/tracker/dmlc_tracker/ssh.py

incubator-mxnet/3rdparty/dmlc-core/tracker/dmlc_tracker/tracker.py 初始化PSTracker作为PS的控制节点。然后返回调用ssh.py的函数，ssh连接其他server和worker，并运行python train_mnist.py --network lenet --kv-store dist_sync，环境和DMLC_ROLE都被传过去了。然后当前进程的控制权给PS scheduler。

各个节点的运行

incubator-mxnet/example/image-classification/train_imagenet.py根据传入的args，动态调用
incubator-mxnet/example/image-classification/symbols/lenet.py，
从incubator-mxnet/example/image-classification/common/date.py/得到data，
得到的参数再传入incubator-mxnet/example/image-classification/common/fit.py的fit函数。
fit则再调用incubator-mxnet/python/mxnet/model/module.py（继承incubator-mxnet/python/mxnet/model/base_module.py），接着看父类base_module的fit的文档

fit.py

incubator-mxnet/example/image-classification/common/fit.py
- kvstore
  - 首先kv = mx.kvstore.create(args.kv_store)，来自incubator-mxnet/python/mxnet/kvstore.py的create()函数
  - 调用c的API，include/mxnet/c_api.h，src/c_api/c_api.cc
- kv.rank
  - kv.rank在python/mxnet/kvstore.py的rank()
- model.fit() 传入kv

module.py

python/mxnet/module/module.py继承base_module.py，在BaseModule的fit
在BaseModule的fit中
- init_params
- init_optimizer
- update
- optimizer
update在module.py具体实现了，
- 调用了python/mxnet/model.py的_update_params_on_kvstore
  - kvstore.push(name, grad_list, priority=-index) # push grad
  - kvstore.pull(name, arg_list, priority=-index) # pull weight
  - 于是到了python/mxnet/kvstore.py的push和pull函数。
    - python/mxnet/kvstore.py的push和pull函数即由src/c_api和include/mxnet/c_api.h的MXKVStorePush、MXKVStorePushEx、MXKVStorePull、MXKVStorePullEx实现
      - c_api其实是为了给其他语言提供统一接口，本质也是在调用src/kvstore下的c语言实现的kvstore。
python/mxnet/optimizer.py的update决定了如何利用grad更新weight

c++的kvstore

在src/kvstore/kvstore.cc下，kvstore根据dist_async来判断创建KVStoreDist或者KVStoreLocal
src/kvstore/kvstore_dist.h是继承kvstore_local.h的，并重新实现InitImpl、PullImpl和PushImpl等
kvstore_dist.h和kvstore_dist_server.h用到pslite
PushImpl
- Push_
  - PushDefault
    - ps::KVWorker<real_t>*的ps_worker_->ZPush()。在ps-list/include/ps/kv_app.h
      - KVWorker<Val>::Send()调用Postoffice::Get()->van()->Send(msg);
        
        Van::Send(const Message& msg)调用zmq_van.h的SendMsg(msg)，用zmq_van.h的senders_来得到socket。而zmq_van.h的senders_由void Connect(const Node& node)连接而来
PullImpl
- ``