为什么使用树莓派搭建自己的爬虫服务器？

树莓派使用Linux操作系统，完美支持爬虫框架Scrapy所需要的环境
爬虫需要长期运行，笔记本电脑可能会随时关闭
树莓派功耗极低，就像路由器一样打开就不用管了

准备好硬件

树莓派3B+
亚克力外壳，散热片，风扇
16G Micro-SD 卡
5V Micro USB 电源
HDMI显示器
USB键盘鼠标

先安装散热片

IMG_20190517_112738.jpg

在固定到底板上，一共有四个螺丝

IMG_20190517_112725.jpg

查SD卡的那一侧先不安装

IMG_20190517_112717.jpg

固定好风扇

IMG_20190517_112704.jpg

完成！

IMG_20190517_112633.jpg

准备好刷卡环境

一台 Windows 10, Mac 或 Linux 电脑
Micro-SD卡读写器

下载软件

Ubuntu Server
- 网址 https://www.ubuntu.com/download/iot/raspberry-pi-2-3
- 下载树莓派3 对应的文件 http://cdimage.ubuntu.com/releases/bionic/release/ubuntu-18.04.2-preinstalled-server-arm64+raspi3.img.xz
- 目前（2019年5月）版本是 18.04.2
Etcher 刷卡工具
- 网址 https://www.balena.io/etcher/
- 有各种系统的版本，Windows/MacOS/Linux
  
  图片.png

写入SD卡

使用Etcher 将下载好的镜像文件刷入SD卡

图片.png

启动树莓派

连接 HDMI显示器，鼠标键盘
插入SD卡
连接USB电源
第一次启动，用户名与密码都是ubuntu ，系统强制要求修改密码

图片.png
图片.png

配置WiFi

Ubuntu server 需要配置才能连wifi
编辑 /etc/netplan/50-cloud-init.yaml 文件： sudo vi /etc/netplan/50-cloud-init.yaml

network:
        version: 2
        ethernets:
                eth0:
                        optional: true
                        dhcp4: true
        wifis:
                wlan0:
                        optional: true
                        dhcp4: true
                        access-points:
                                WIFISSID: {password: WIFIPASSWORD}

注意要修改WIFISSID 和WIFIPASSWORD
修改完成后执行命令

sudo netplan apply

等待几秒后就会连接上Wifi，执行ifconfig 命令查看IP地址后就可以通过putty或ssh命令远程连接树莓派了
如果能够连接成功，现在可以取下来键盘鼠标显示器，将树莓派放到路由器旁边，以后就是远程管理

远程管理树莓派

通过putty或ssh连接树莓派
安装需要的Python库

sudo apt update
sudo apt install python3-pip  python3-twisted python3-cffi python3-parsel python3-queuelib python3-pydispatch python3-hamcrest python3-redis

安装需要的pip包

sudo pip3 install --no-deps w3lib==1.20.0 scrapy scrapyd

安装完成以后，测试一下scrapy能否正常运行

ubuntu@ubuntu:~$ scrapy
Scrapy 1.6.0 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

配置scrapyd服务器

在/home/ubuntu目录下新建一个文件 scrapyd.conf

[scrapyd]
bind_address=0.0.0.0

执行命令 scrapyd

ubuntu@ubuntu:~$ scrapyd
Removing stale pidfile /home/ubuntu/twistd.pid
2019-05-17T04:01:21+0000 [-] Removing stale pidfile /home/ubuntu/twistd.pid
2019-05-17T04:01:21+0000 [-] Loading /usr/local/lib/python3.6/dist-packages/scrapyd/txapp.py...
2019-05-17T04:01:22+0000 [-] Scrapyd web console available at http://0.0.0.0:6800/
2019-05-17T04:01:22+0000 [-] Loaded.
2019-05-17T04:01:22+0000 [twisted.scripts._twistd_unix.UnixAppLogger#info] twistd 17.9.0 (/usr/bin/python3 3.6.7) starting up.
2019-05-17T04:01:22+0000 [twisted.scripts._twistd_unix.UnixAppLogger#info] reactor class: twisted.internet.epollreactor.EPollReactor.
2019-05-17T04:01:22+0000 [-] Site starting on 6800
2019-05-17T04:01:22+0000 [twisted.web.server.Site#info] Starting factory <twisted.web.server.Site object at 0xffff8f405160>
2019-05-17T04:01:22+0000 [Launcher] Scrapyd 1.2.0 started: max_proc=16, runner='scrapyd.runner'