爬取简书全站文章并生成 API（五）

看完前面的四篇文章，就已经可以爬取简书全站的文章做成 API，并且可以部署上线了。但是我对 Docker 这个很火的东西非常感兴趣，前段时间学了 Docker 的基本操作，正好可以用上。这也时我第一次用 Docker 部署 Django 应用，若有不正确的地方，还望指出。

• 爬取简书全站文章并生成 API（一）

• 爬取简书全站文章并生成 API（二）

• 爬取简书全站文章并生成 API（三）

• 爬取简书全站文章并生成 API（四）

• 简书 API 测试地址 : http://222.24.63.118:8080/

• github 项目地址：https://github.com/strugglingyouth/jianshu/

使用 Docker 部署 Django 应用程序

由于 Docker Hub 的镜像在国内下载速度非常慢，所以此次使用的都是 daocloud 提供的镜像。Docker 的基本操作可以参考 http://www.tianfeiyu.com/?cat=159.

Docker 部署 Django 应用可以通过两种方式来完成：迭代构建和容器互联。以下使用容器互联的方式搭建 Django 容器栈。

注意：以下所有操作步骤均在 CentOS 6.6 x86_64 下完成。

所需镜像

• Docker version 1.7.1
• daocloud.io/nginx:1.11
• daocloud.io/python:2.7
• daocloud.io/mysql:5.6
• daocloud.io/django:1.9

容器创建的顺序：

mysql --> redis --> django --> nginx

构建镜像前请先下载好所有所需的镜像。

1. 创建 mysql 容器

首先创建一个用于构建容器的目录：

# mkdir /docker
# cd /docker/

然后创建好以下几个目录用于存放相应的文件：

├── mysql  
│   ├── conf.d    
│   │   ├── jianshu.sql       ---对应的 django 数据库文件，需要手动导入
│   │   ├── character.cnf  ---设定字符集
│   │   └── my.cnf         ---额外配置
│   ├── data               ---挂载数据库文件的目录
│   └── start.sh           ---容器启动脚本

以下是 mysql 容器的启动脚本：

#!/bin/bash 
#

echo "---------------start mysql image-------------------"
docker run --name mysql \
-v $(pwd)/conf.d:/etc/mysql/conf.d \
-v $(pwd)/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
-p 3307:3306 \
-d daocloud.io/mysql:5.6.30 

上述脚本创建一个名为 mysql 的容器，挂载容器的配置文件目录与数据目录并且初始化 mysql 的密码。

2. 创建 redis 容器

使用 redis 缓存后端数据。

redis 容器不需要特别的处理。

├── redis
│   └── start.sh

启动脚本：

#!/bin/bash 
#

docker run --name redis -d daocloud.io/redis:3.0.7

3. 创建 django 容器

要创建 django 容器，首先需要一个 django 镜像，即在 daocloud.io/python:2.7 镜像中安装 django 所需的环境。再将 django 容器与 mysql 和 redis 容器进行互联。

└── web
    ├── jianshu.tar.gz       ---app 打包文件
    ├── Dockerfile          ---构建 django 镜像所使用的 Dockerfile
    ├── requirements.txt  ---app 依赖的库
    ├── start.sh          ---启动脚本
    └── stop.sh              

以下为 Dockerfile 文件信息：

# 基础镜像
FROM daocloud.io/python:2.7

# 维护者信息
MAINTAINER tianfeiyu <www.tianfeiyu.com>

ADD blog.tar.gz /usr/src/ 

# app 所在目录
WORKDIR /usr/src/jianshu

# 安装 app 所需依赖
RUN pip install --no-cache-dir -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

启动脚本：

#!/bin/bash 
# 
docker exec -d mysql mysql -uroot -p123456 -e "create database blog;"
docker build -t feiyu/django-app .
docker run --name django \
-v /usr/src/jianshu \
-v /usr/src/jianshu/static \                                                                                         
--link mysql:mysql \
--link redis:redis \
-p 12000:8000 \
-d feiyu/django-app /usr/local/bin/uwsgi --http :8000 --chdir /usr/src/jianshu -w jianshu.wsgi

上面使用 --link 选项来能够进行容器间安全的交互通信，使用格式 name:alias,可在一个 docker run 命令中重复使用该参数，使用 --link 时，连接通过容器名来确定容器，建议启动容器时自定义容器名。

通过 --link 选项来建立容器间连接，不但可以避免容器的 IP 和端口暴露到外网所导致的安全问题，还可以防止容器在重启后 IP 地址变化导致的访问失效，它的原理类似于 DNS 服务器的域名和地址映射。当容器的 IP 地址发生变化时，Docker 将自动维护映射关系中 IP 地址。

Docker 通过 2 种方式为容器公开连接信息：环境变量和更新 /etc/hosts 文件。

依旧使用 uwsgi来启动 django 应用程序，也可以使用 gunicorn 来启动。

4. 创建 nginx 容器

nginx 容器的创建比较简单，先在构建镜像时将 nginx 的配置文件复制到镜像，再将 nginx 容器与 django 容器进行互联并且挂载 django 容器中的数据卷。

├── nginx
│   ├── Dockerfile                 ---构建 nginx 镜像的 Dockerfile
│   ├── nginx-conf                    
│   │   └── django_project.conf       ---提供的 nginx 配置文件 
│   ├── restart.sh
│   ├── start.sh
│   └── stop.sh

Dockerfile 文件：

FROM daocloud.io/nginx
 
MAINTAINER tianfeiyu <www.tianfeiyu.com>                                                                            
 
RUN rm /etc/nginx/conf.d/default.conf
ADD nginx-conf/ /etc/nginx/conf.d/

启动脚本：

#!/bin/bash 
#                                                                                                                   
docker build -t nginx .        
docker run --name nginx-server \
--link django:web \            
-v /www/static \               
--volumes-from django \        
-p 8888:80 \
-d nginx

到此，所有容器的创建过程都已经了解清楚，所有文件的目录树如下所示：

5. 启动容器栈

为了方便测试，每个需要创建的容器下面都会有一个启动脚本，并且有一个控制所有容器的启动脚本与停止脚本：

#!/bin/bash
#
cd mysql                                                                                                            
echo "start mysql----------------"
./start.sh
 
cd ../redis  
echo "start redis---------------------"
./start.sh
 
cd ../web 
echo "start web ---------------------"
./start.sh
 
cd ../nginx
echo "start nginx-------------------"
./start.sh

然后进入到 mysql 容器中将 django 数据库文件导入：

# docker inspect --format "{{.State.Pid}}" mysql
12674
# nsenter --target 12674 --mount --uts --ipc --net --pid
root@91308514f209:/# cd /etc/mysql/conf.d/
root@91308514f209:/etc/mysql/conf.d# mysql -uroot -p jianshu < jianshu.sql

完整的代码请查看 github 项目地址 ！