使用 Fabric 自动化部署Docker爬虫集群

Fabric 是一个 Python (2.5+ or 3.4+) 的库和命令行工具，用来提高基于 SSH 的应用部署和系统管理效率。
更具体地说，Fabric 是：
一个让你通过 命令行 执行 无参数 Python 函数 的工具；
一个让通过 SSH 执行 Shell 命令更加 容易 、 更符合 Python 风格 的命令库（建立于一个更低层次的库）。

因为大批量部署和维护爬虫需要依赖自动化运维；所以Fabric能很好地帮你解决这些问题，而且上手很容易。

1. 安装

pip3 install fabric

2. 本地连接

from fabric import Connection
server = Connection('127.0.0.1')

3. 本地执行命令

result = server.local('cd ..')
print(result)

4. 远程登陆

from fabric import Connection

# 密码登陆
conn = Connection(host='root@10.10.10.10:2201', user='root', connect_kwargs={'password': '123123123'})
# 秘钥登陆
# conn = Connection(host='root@10.10.10.10:2201', connect_kwargs={"key_filename": "/home/myuser/.ssh/private.key"})

5. 远程执行代码

result = conn.run('ls')
print(result)

6. 上传文件

result = server.put('D:\Work\project\DeployManager.py', '/root/')

7. 下载文件

result = server.get('/root/DeployManager.py', '../')

8. 批量连接操作

from fabric import Connection

for host in ('2.2.8.8', '5.8.0.5', '5.8.1.7'):
    server = Connection(host, user='centos', connect_kwargs={"key_filename": r"key.pem"})
    print(server)
    result = server.run('ls')
    print(result)
    result = server.put('DeployManager.py', '.')
    print(result)

9. 群组批量连接操作
   这种方式只支持相同密码或秘钥连接。

from fabric import SerialGroup as Group

pool = Group('2.2.8.8', '5.8.0.5', '5.8.1.7', user='centos',
             connect_kwargs={"key_filename": r"key.pem"})
results = pool.run('ls')
print(results)
for connection, result in results.items():
    print("{0.host}: {1.stdout}".format(connection, result))

10. 批量部署Docker集群的Salve环境
    结合上一篇的内容：Docker搭建大型分布式爬虫， 如果你有100台服务器需要安装配置，你肯定不想一台一台的手动完成。这时候使用Python的远程连接工具Fabric编写脚本，就可以自动的帮你搭建环境。
    所以只需要配置好1台服务器，然后再把需要的命令用Python脚本批量登陆部署。

pool = Group('2.2.8.8', '5.8.0.5', '5.8.1.7', user='centos',
             connect_kwargs={"key_filename": r"key.pem"})
code_str = '''yum update -y
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache fast
yum -y install docker-ce
echo '{ "insecure-registries":["112.222.211.244:8181"] }' >> /etc/docker/daemon.json
systemctl restart docker
docker swarm join --token SWMTKN-1-2vkysm719347vkbs1x333aaan1w63s4-1q4ztrcirrrttttuu3fm50btm 112.222.211.244:2377'''
code_list = code_str.split('\n')
for code in code_list:
    results = pool.run(code)
    print(results)
    for connection, result in results.items():
        print("{0.host}: {1.stdout}".format(connection, result))

11. 不使用Docker直接部署

for host in ('2.2.8.8', '5.8.0.5', '5.8.1.7'):
    server = Connection(host, user='centos', connect_kwargs={"key_filename": r"key.pem"})
    l = '''sudo yum install epel-release gcc gcc-c++ -y
sudo yum install https://rhel7.iuscommunity.org/ius-release.rpm -y
sudo yum install python36u python36u-pip python36u-devel -y && ln -s /bin/python3.6 /bin/python3
sudo /usr/bin/pip3.6 install --upgrade pip
sudo /usr/bin/pip3.6 install requests selenium pymongo redis tenacity fake_useragent celery pyexecjs sshtunnel pymysql jieba pillow scrapy_redis -i https://pypi.douban.com/simple/
sudo curl --silent --location https://rpm.nodesource.com/setup_8.x | sudo bash -
sudo yum -y install nodejs
sudo yum -y install unzip'''
    l = l.split('\n')
    for i in l:
        print(i)
        result = server.run(i)
        print(result)
    server.put('spider.zip', '.')
    server.run('unzip spider.zip')
    server.run('cd spider && nohup python3 -u run.py >res.log &')