美文网首页
Python爬虫进阶三之Scrapy框架安装配置

Python爬虫进阶三之Scrapy框架安装配置

作者: mm单 | 来源:发表于2017-10-18 14:53 被阅读0次

    标题很唬人:爬虫进阶?其实就是装个Scrapy框架(爬虫工具而已)。
    但就是这个鬼东西,昨晚研究里一晚上还是没成功,一直到今天(上次安装anaconda软件也是这种情况,当天夜里怎么设置都出错,睡了一觉反而有突破,看起来睡觉是个好东西)。
    框架装成功与否判断标准很简单,MAC 终端里面输入:scrapy,能跳出如下所示:
    含版本信息以及相关指令command


    屏幕快照 2017-10-18 13.55.56.png

    但一开始操作,打开terminal却直接提示我scrapy command not found;上网一查有很多同学都遇到这种例子,原因不外乎是path环境变量没有设置好。
    既然找到方向,那么问题就变成:
    如何修改环境变量以及保存:

    下面是最终解决我问题的方法(其他人的问题不一定,但大方向应该一样)

    1. 终端执行 touch ~/.bash_profile

    2.终端执行 vim ~/.bash_profile

    3.点一下向下箭头,点E 进入bash_profile文件

    4.点i进入编辑模式,进行编辑

    5.编辑完成后,点esc 退出

    6.直接输入 ::wq! 这四个字符后,回车即可保存。

    没看到这个步骤之前就编辑这个profile文件踩了许多坑,网上有些只是说把需要的path填进去即可,但实际输入操作不像text文件那样直接,反正我一打字听到的只是键盘“咚咚咚”的反馈,文字根本不能输入;敲完一段代码发现中间有个错误想要修改,对不起,只能从最后一个字开始全部删除到这个错误这边重新打;等全部核对清楚验明正确以为收工了?no,怎么保存呢?找不到保存键!!!总之不亲手打一遍很难体会这种心情。
    好了,工具包都准备的差不多了,以后可以跳入爬虫的大坑了(路漫漫其修远兮,吾将上下而求索)。
    最后推荐下学习python时这个软件anaconda,已经完美内置各种大包小包,如pip/conda/scrapy...

    屏幕快照 2017-10-18 14.39.49.png

    相关文章

      网友评论

          本文标题:Python爬虫进阶三之Scrapy框架安装配置

          本文链接:https://www.haomeiwen.com/subject/glzsuxtx.html