美文网首页爬虫专辑
一、Scrapy的安装

一、Scrapy的安装

作者: 阿轲666 | 来源:发表于2017-06-05 09:55 被阅读0次

(一)首先你要搭建一个虚拟环境,那么问题来了,如何搭建一个虚拟环境呢?以及为什么要搭建虚拟环境?

不互相影响。比如pygame编写游戏,目前pygame库只支持py2.7,py3就不可以啦。还有些库py3有所升级,为了不互相影响,放入一个虚拟环境中。今后scrapy shell的时候都会更加方便,所以建议使用virtualenv安装在独立的环境下,可以减少一些问题,因为mac系统自带python,例如一些依赖库依赖的一些新的版本,而升级新版本会把旧版本卸载掉,卸载可能会有权限的问题。

1、安装virtualenv(红色部分为输入)

打开mac终端

pip install virtualenv

pip install virtualenvwrapper

成功会显示下面:记住安装地址

Requirement already satisfied: virtualenv in /Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages

cd ~/sun(别把虚拟环境放在根目录下,还是创建一个新的文件夹吧)

export WORKON_HOME=~/sun

source /Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh

mkvirtualenv sun1

mkvirtualenv sun2

......

可以设置很多虚拟环境的名称

把export命令和source命令配置好以后,一劳永逸了,以后不用每次都打这么一大堆了。

直接输入

workon sun1

workon sun2

退出虚拟环境的命令

deactivate

关于豆瓣源的使用:

如果pip install XXXX失败,就用豆瓣的镜像源,会加速下载

pip install -i https://pypi.douban.com/simple/  XXXX

如何卸载pip包pip uninstall XXX

各位有没有遇到pip uninstall XXX失败怎么办?

有可能当初是用管理员权限sudo pip安装的,卸载就如下

sudo pip uninstall XXX

下面是一些基本操作命令

列出虚拟环境:

$ lsvirtualenv -b

env1

env2

切换虚拟环境:

$workon env1

查看环境里安装了哪些包:

$lssitepackages

进入当前环境:

$cdvirtualenv

进入当前环境的site-packages:

$cdsitepackages$cdsitepackages pip

复制虚拟环境:

$ cpvirtualenv env1 env3

Copying env1 as env3...

退出虚拟环境:

$deactivate

删除虚拟环境:

$rmvirtualenv env2Removingenv2...

(二)、使用国内豆瓣源进行安装scrapy

pip install -i https://pypi.douban.com/simple/ scrapy

(三)、在虚拟环境下安装scrapy的单独项目

scrapy startproject projectname

(四)、进入pycharm 打开 projectname

成功之后是这样的

(五)调好虚拟环境

现在就导入进来了,接下来我们就能编写我们的scapy代码了。

相关文章

网友评论

    本文标题:一、Scrapy的安装

    本文链接:https://www.haomeiwen.com/subject/ynxifxtx.html