预备条件:
如果使用虚拟机安装scrapy-splash,请确认下自己虚拟机的硬盘大小,如果根挂载点只有10G,建议重新安装虚拟机,将虚拟机硬盘设大一点,我这里虚拟机的硬盘为40G,根挂载点28G。
(如何在Windows上安装虚拟机,请点我)
如果根挂载点比较小,可用空间小,安装过程中会报错,解决错误比较浪费时间。
安装docker:
linux安装scrapy-splash之前需要先安装docker,安装docker可以自己度娘,安装即可。我这里参考的文章是(点我);安装后有可能会报错:
docker: Cannot connect to the Docker daemon at unix:///var/run/docker.sock.
Is the docker daemon run
不要着急,可以参考这篇文章(点我)
使用命令:
sudo service docker start
重启下,然后查看下重启后的状态:
sudo service docker status
如果已经运行,查看下docker的版本号,,验证下是否安装成功:
docker version
已显示docker版本信息,说明docker已成功安装
安装splash:
安装splash:
docker run -p 8050:8050 scrapinghub/splash
安装后有可能报344错误:
docker: Error response from daemon: OCI runtime create failed: container_linux.go:344:
starting container process caused "process_linux.go:293:
copying bootstrap data to pipe caused \"write init-p: broken pipe\"": unknown.
我是使用最笨的方式--更新CentOS版本
(如果有更好的方式,不推荐这种做法,比较耗费时间,你如果这样做了,可以找一本在读的书,继续读;如果已是深夜,那么你可以睡觉了)
yum -y update
更新完成后,重启下
reboot
然后重新输入:
docker run -p 8050:8050 scrapinghub/splash
显示这样的信息,就说明splash已成功安装了,在浏览器里输入:
localhost:8050
旋转,跳跃,我闭着眼。嘻嘻。
按Ctrl+C就可以关闭这个端口。
关机重启,打开虚拟机时,如果出现多个启动项,需要删除一个(参考文章:点我)
查看当前系统版本:
uname -a
查看系统中全部的内核RPM包:
由上图可以看到,kernel有327版本也有957版本,把旧版本327删除。
yum remove kernel-3.10.0-327.el7.x86_64
yum remove kernel-devel-3.10.0-327.el7.x86_64
删除后,查询下,然后重启
这时就只有两个了
开机启动后第一件事,看下自己安装的splash是否还正常,一切安好,嘻嘻!
安装scrapy-splash:
pip install scrapy-splash
(以上默认linux下已经有python环境,我的是anaconda3.5自带的python3.6版本)
网友评论