scrapyd 配置

原址
注意：

1. django与爬虫文件夹同级
2. 启动scrapyd和scrapyd-deploy命令：必须在爬虫文件夹下
3. 涉及的命令：
  scrapy list :查看爬虫
  scrapyd :启动scrpyd服务器
  pkill scrapyd: 杀死scrapyd进程
  scrapyd-deploy -l 查看爬虫项目
  scrpayd-deploy <target> -p 项目名称 ：运用scrapy-client部署爬虫
4. 在上述操作的过程中，在执行命令：scrapyd-deploy时遇报错：
    /usr/local/bin/scrapyd-deploy:23: ScrapyDeprecationWarning: Module `scrapy.utils.http` is deprecated,           
   Please import from `w3lib.http` instead.
    from scrapy.utils.http import basic_auth_header
    Error: no Scrapy project found in this location
乍一看以为是路径问题导致找不到scrapy项目，其实不然，报错已经说明，由于底层scrapyd-deploy的模块‘scrapy.utils.http’已经弃用，建议更新为`w3lib.http`替代
解决办法其实很简单，点击上图链接：
https://img2018.cnblogs.com/i-beta/1541850/202002/1541850-20200222125238828-40383557.png
 5. 环境：
  asn1crypto==0.24.0
attrs==19.1.0
Automat==0.7.0
automium==0.2.6
automium-web==0.1.1
certifi==2019.6.16
cffi==1.12.3
chardet==3.0.4
Click==7.0
constantly==15.1.0
cryptography==2.7
cssselect==1.1.0
cycler==0.10.0
Django==2.2.4
django-daterange-filter==1.3.0
Flask==1.1.1
hyperlink==19.0.0
idna==2.8
incremental==17.5.0
itsdangerous==1.1.0
Jinja2==2.10.1
kiwisolver==1.1.0
legacy==0.1.6
lxml==4.4.1
Markdown==3.1.1
MarkupSafe==1.1.1
matplotlib==3.1.1
numpy==1.17.0
pandas==0.25.0
parsel==1.5.2
pyasn1==0.4.6
pyasn1-modules==0.2.6
pycparser==2.19
PyDispatcher==2.0.5
PyHamcrest==1.9.0
PyMySQL==0.9.3
pyOpenSSL==19.0.0
pyparsing==2.4.2
python-dateutil==2.8.0
python-scrapyd-api==2.1.2
pytz==2019.2
queuelib==1.5.0
requests==2.22.0
Scrapy==1.7.3
scrapy-djangoitem==1.1.1
scrapyd==1.2.1
scrapyd-client==1.1.0
service-identity==18.1.0
six==1.12.0
sqlparse==0.3.0
Twisted==19.7.0
urllib3==1.25.3
w3lib==1.21.0
Werkzeug==0.15.5
zope.interface==4.6.0
mysqlclient==2.0.3