Ray autoscaler for k8s installat

https://docs.ray.io/en/latest/autoscaling.html#kubernetes

1. 安装 kuberctl

pip install kubernetes

要让 kuberctl 能访问 kubernetes 集群，需要将配置文件放在 ~/.kube/config 中

2. 生成 ray head

ray up ray/python/ray/autoscaler/kubernetes/example-full.yaml

这个过程可能会报错，因为 autoscaler 镜像比较大，有 5 个多 G，启动 pod 前需要拉取，另外可以将拉取策略改成 never

ray 部署完成之后，只有 head pod, 当用任务运行时，会再创建 worker，之后空闲会再销毁

3. 运行脚本

使用 wrapper.sh，先将要执行的脚本文件通过 ray rsync_up copy 到 head pod 中，然后再运行

RAY_K8S_YAML='../ray-k8s-cluster.yaml'
CURRENT_DIR=$(pwd)
CURRENT_DIR_NAME=${PWD##*/}
RAY_K8S_TARGET=/run/log/

ray rsync_up $RAY_K8S_YAML  $CURRENT_DIR $RAY_K8S_TARGET
ray exec $RAY_K8S_YAML "cd $RAY_K8S_TARGET/$CURRENT_DIR_NAME; bash start.sh; rm -rf $RAY_K8S_TARGET/$CURRENT_DIR_NAME"

客户端机器可以通过 shell 拿到 pod 中脚本运行的日志和返回状态