Windows&&Ubuntu安装Python爬虫Scrapy框

Windows环境下的Scrapy创建

一、安装 Twisted 模块

​ 1、Twisted模块下载地：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

​ 2、下载 “Twisted” 模块对应的二进制文件（根据 Python 版本和系统位进行下载）

image

​ 3、以管理员身份运行命令符窗口（cmd窗口）

​ 4、使用 cd 命令打开 “Twisted” 模块所有的路径（注意：Twisted模块下载后与重命名）

​ 5、通过 pip 的方式进行安装（pip install "Twisted模块名"），安装成功后大概是下面这样子：

        pip install Scrapy .\Twisted-19.2.1-cp37-cp37m-win_amd64.whl

image
（如果模块安装出错可以使用"pip list"查看模块列表下是否有“lxml”的模块，如果没有需要在“https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml”
下载，安装方式与“Twisted”一致。)

二、安装Scrapy

​ 1、继续命令提示符窗口，安装Scrapy

        pip install Scrapy

​ 2、安装完成后在命令窗口中输入“scrapy”出现版本信息并且没有错误提示异常，说明安装成功

image

三、安装pywin32

​ 1、命令提示符窗口，安装pywin32

        pip install pywin32

image
​ 2、进入python编译环境中导入模块并运行，如果没有错误提示说明安装成功

        import pywin32_system32

image

Ubuntu环境下Scrapy创建

一、安装python3-pip

​ 1、一般Ubuntu自带python3，如果没有安装在shell终端执行下面命令进行安装

        ~$sudo apt-get install python3-pip

二、安装依赖(来自：官方文档)

        ~$sudo apt-get install python3 python3-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

三、安装scrapy

        ~$sudo pip3 install scrapy

四、测试

        ~$scrapy

​ 如果出现scrapy版本等信息就说明成功了，相对来说Ubuntu的安装比windows简单一些！

至此！Windows && Ubuntu 的 Scrapy 框架安装完成了！！