标题很唬人:爬虫进阶?其实就是装个Scrapy框架(爬虫工具而已)。
但就是这个鬼东西,昨晚研究里一晚上还是没成功,一直到今天(上次安装anaconda软件也是这种情况,当天夜里怎么设置都出错,睡了一觉反而有突破,看起来睡觉是个好东西)。
框架装成功与否判断标准很简单,MAC 终端里面输入:scrapy,能跳出如下所示:
含版本信息以及相关指令command
屏幕快照 2017-10-18 13.55.56.png
但一开始操作,打开terminal却直接提示我scrapy command not found;上网一查有很多同学都遇到这种例子,原因不外乎是path环境变量没有设置好。
既然找到方向,那么问题就变成:
如何修改环境变量以及保存:
下面是最终解决我问题的方法(其他人的问题不一定,但大方向应该一样)
- 终端执行 touch ~/.bash_profile
2.终端执行 vim ~/.bash_profile
3.点一下向下箭头,点E 进入bash_profile文件
4.点i进入编辑模式,进行编辑
5.编辑完成后,点esc 退出
6.直接输入 ::wq! 这四个字符后,回车即可保存。
没看到这个步骤之前就编辑这个profile文件踩了许多坑,网上有些只是说把需要的path填进去即可,但实际输入操作不像text文件那样直接,反正我一打字听到的只是键盘“咚咚咚”的反馈,文字根本不能输入;敲完一段代码发现中间有个错误想要修改,对不起,只能从最后一个字开始全部删除到这个错误这边重新打;等全部核对清楚验明正确以为收工了?no,怎么保存呢?找不到保存键!!!总之不亲手打一遍很难体会这种心情。
好了,工具包都准备的差不多了,以后可以跳入爬虫的大坑了(路漫漫其修远兮,吾将上下而求索)。
最后推荐下学习python时这个软件anaconda,已经完美内置各种大包小包,如pip/conda/scrapy...
网友评论