美文网首页
26.linux安装scrapy-splash

26.linux安装scrapy-splash

作者: starrymusic | 来源:发表于2019-04-02 10:47 被阅读0次

    预备条件:

    如果使用虚拟机安装scrapy-splash,请确认下自己虚拟机的硬盘大小,如果根挂载点只有10G,建议重新安装虚拟机,将虚拟机硬盘设大一点,我这里虚拟机的硬盘为40G,根挂载点28G。

    (如何在Windows上安装虚拟机,请点我

    如果根挂载点比较小,可用空间小,安装过程中会报错,解决错误比较浪费时间。

    安装docker:

    linux安装scrapy-splash之前需要先安装docker,安装docker可以自己度娘,安装即可。我这里参考的文章是(点我);安装后有可能会报错:

    docker: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. 
    Is the docker daemon run
    

    不要着急,可以参考这篇文章(点我
    使用命令:

    sudo service docker start
    

    重启下,然后查看下重启后的状态:

    sudo service docker status
    

    如果已经运行,查看下docker的版本号,,验证下是否安装成功:

    docker version
    

    已显示docker版本信息,说明docker已成功安装

    安装splash:

    安装splash:

    docker run -p 8050:8050 scrapinghub/splash
    

    安装后有可能报344错误:

    docker: Error response from daemon: OCI runtime create failed: container_linux.go:344: 
    starting container process caused "process_linux.go:293:
     copying bootstrap data to pipe caused \"write init-p: broken pipe\"": unknown.
    

    我是使用最笨的方式--更新CentOS版本
    (如果有更好的方式,不推荐这种做法,比较耗费时间,你如果这样做了,可以找一本在读的书,继续读;如果已是深夜,那么你可以睡觉了)

    yum -y update
    

    更新完成后,重启下

    reboot
    

    然后重新输入:

    docker run -p 8050:8050 scrapinghub/splash
    

    显示这样的信息,就说明splash已成功安装了,在浏览器里输入:

    localhost:8050
    

    旋转,跳跃,我闭着眼。嘻嘻。

    按Ctrl+C就可以关闭这个端口。

    关机重启,打开虚拟机时,如果出现多个启动项,需要删除一个(参考文章:点我

    查看当前系统版本:

    uname -a
    

    查看系统中全部的内核RPM包:


    由上图可以看到,kernel有327版本也有957版本,把旧版本327删除。

    yum remove kernel-3.10.0-327.el7.x86_64
    yum remove kernel-devel-3.10.0-327.el7.x86_64
    

    删除后,查询下,然后重启

    这时就只有两个了

    开机启动后第一件事,看下自己安装的splash是否还正常,一切安好,嘻嘻!

    安装scrapy-splash:

    pip install scrapy-splash
    

    (以上默认linux下已经有python环境,我的是anaconda3.5自带的python3.6版本)

    相关文章

      网友评论

          本文标题:26.linux安装scrapy-splash

          本文链接:https://www.haomeiwen.com/subject/qhdwbqtx.html