pip install scrapyd
- 遇到安装为题:
- 如果遇到incremental未安装,则:
- pip install incremental
- 如果遇到libxml2和libxslt未安装,则:
- apt-get install libxml2
- apt-get install libxslt1-dev
- pip install lxml
- 如果遇到No module name attr,是twisted版本太高,目前在twisted=13.1.0上才能运行scrapyd:
- pip uninstall twisted
- pip install twisted==13.1.0
- 如果遇到incremental未安装,则:
安装scrapyd-client
- pip install scrapyd-client
配置scrapyd
- 启动的时候默认是127.0.0.1:6800,会导致外网无法访问scrapyd服务,因此要修改scrapyd.conf的地址
- 如果用pip安装,则默认配置文件一般在/usr/local/lib/python2.7/dist-packages/scrapyd
- vi default_scrapyd.conf
- 把bind_address = 127.0.0.1修改为服务器地址,如10.66.80.158
启动scrapyd服务
- nohup scrapyd > /tmp/scrapyd.log 2>&1 &
- 2表示标准错误输出
- 1表示标准信息输出
- 2>&1表示把错误信息一起输入到标准输出
部署命令:
-
scrapyd-deploy deployname -p projectname,根据scrapyd.cfg中的deploy信息部署,如:
-
scrapyd.cfg中信息如下:
[deploy:hiktest] url = http://10.66.80.158:6800/ project = tutorial
scrapyd-deploy hiktest -p tutorial
-
网友评论