2020-10-20 DC使用说明

DistributedComputing 使用说明

0. 作者说明

初代是Zhao-Yu Sun，
后来由本科生Yi-Chen Deng推广到多节点。

1. 功能描述

• 现在有大量独立的任务，有数台服务器，需要将这些任务自动布置到各服务器上，从而尽可能合理地调度计算资源，尽快完成计算任务。
• 用bash实现。

2. 工作准备

• 主机 c2019
• 分机 a2019
• 分机 b2019
• 分机 e2019
• 各节点安装好ssh无密码登录
• 把 Host_DistributedComputing.tar.gz 解压到主机
• 把 Slave_DistributedComputing.tar.gz 解压到分机
• 各机器上，DC安装在统一的目录，比如：~/Software/DistributedComputing

3. 使用前，DC的配置

• 配置主机的information，根据现有模板在里面加上各个机器的情况
• 依次配置各分机的information_local，只包含它自己和主机的信息即可。
• 根据分机个数，更新任务分发脚本Issue

4. 在主机上准备任务文件

• 清理之前的残余数据

./reset

• 准备好所有任务（每个任务一个目录），放在job_List里面
• 检查或更新job_List/share的数值
• 在job_List下准备好完整的相关函数，放在目录job_List/Functions

5. 在主机上分发任务文件到各个分机

./packaging_for_slave #打包
./Issue #分发

6. 在主机和各分机上开启任务：

cd ~/Software/DistributedComputing
./run_in_node

7. 在主机上查看总体进度

cd ~/Software/DistributedComputing/
cat sign