美文网首页
使用scrapy前的环境搭建

使用scrapy前的环境搭建

作者: fad2aa506f5e | 来源:发表于2018-10-15 19:36 被阅读0次

刚开始直接scrapy startproject [名称] 创建项目才遇到挺多问题的,执行这个又会提示那个问题,解决后就觉得还好还好啦

1.pip install scrapy 提示pip 版本要升级;

You are using pip version 10.0.1, however version 10.0.1 is available.

You should consider upgrading via the 'python -m pip install --upgrade pip' command.

---------------------

2.python -m pip install --upgrade pip 升级时又有新问题;

(venv) D:\Fish>python -m pip install --upgrade pip

Requirement already up-to-date: pip in d:\fish\venv\lib\site-packages (10.0.1)

--------------------- 

于是按照要求将d:\fish\venv\lib\site-packages (10.0.1)中的pip-10.0.1.dist-info删除,再次运行python -m pip install --upgrade pip后升级成功

3.再执行第1步以为万事大吉了,又有新的问题了

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

--------------------- 

解决这个问题有两种方法:a.按提示安装Visual Studio (C盘至少需要6G空间,果断找其他方法解决);

            b.使用wheel安装;

使用wheel安装:pip install wheel

成功会提示successfull也可以使用wheel命令验证是否成功,成功后是这样

然后去https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml这个网站下载Scrapy库,

进到网站=>搜索’Scrapy’=>下载

把下载的.whl文件放在一个容易寻找的地址(我放在了D:\)

然后在控制台进入该地址

在该地址下输入

pip install [whl]

注:[whl]表示你的.whl文件,一定要全名,XXXX.whl

然后,并没有结束。。。。。

安装过程还是有可能失败

可能会出现Failed to build XXXX

为什么会这样那,因为Scrapy框架基于Twisted

所以,要做的就是去网站下载Twisted之类的安装文件,先把它们装上,安装方法和上边的相同。

注意选择好版本号

cp代表python的版本号,32/64选择对应你电脑的位数

最后终于成功了。

建个项目测试一下

在这里给大家提供一个学习交流的平台,Java技术交流┟ 810309655 具有1-5工作经验的,面对目前流行的技术不知从何下手,需要突破技术瓶颈的可以加群。 在公司待久了,过得很安逸,但跳槽时面试碰壁。需要在短时间内进修、跳槽拿高薪的可以加群。 如果没有工作经验,但基础非常扎实,对java工作机制,常用设计思想,常用java开发框架掌握熟练的可以加群。 ________________________________________________________________________________________________ 加Java架构师进阶交流群获取Java工程化、高性能及分布式、高性能、深入浅出。高架构。 性能调优、Spring,MyBatis,Netty源码分析和大数据等多个知识点高级进阶干货的直播免费学习权限  都是大牛带飞 让你少走很多的弯路的 群号是: 810309655对了 小白勿进 最好是有开发经验  注:加群要求 1、具有工作经验的,面对目前流行的技术不知从何下手,需要突破技术瓶颈的可以加。 2、在公司待久了,过得很安逸,但跳槽时面试碰壁。需要在短时间内进修、跳槽拿高薪的可以加。 3、如果没有工作经验,但基础非常扎实,对java工作机制,常用设计思想,常用java开发框架掌握熟练的,可以加。 4、觉得自己很牛B,一般需求都能搞定。但是所学的知识点没有系统化,很难在技术领域继续突破的可以加。 5.阿里Java高级大牛直播讲解知识点,分享知识,多年工作经验的梳理和总结,带着大家全面、科学地建立自己的技术体系和技术认知!

相关文章

  • 使用虚拟环境,搭建python3+scrapy

    使用虚拟环境 查看当前的虚拟环境wokon scrapy的搭建 在安装好scrapy的前前提下进行 创建scrap...

  • 使用scrapy前的环境搭建

    刚开始直接scrapy startproject [名称] 创建项目才遇到挺多问题的,执行这个又会提示那个问题,解...

  • Scrapy入门环境搭建

    Scrapy入门环境搭建 概述 本文介绍用python3来搭建scrapy环境,实践一下最简单的scrapy用法。...

  • 学习Scrapy,创建第一个爬虫

    搭建环境: mac,mac OS,python2.7 安装scrapy: 官方网站:https://scrapy....

  • Scrapy爬虫入门实例

    在搭建好了Scrapy的开发环境后(如果配置过程中遇到问题,请参考上一篇文章搭建Scrapy爬虫的开发环境,或者在...

  • DC-01:爬虫框架scrapy入门

    本主题主要是scrapy入门,包含内容如下:  1. Scrapy框架环境搭建;  2. 理解scrapy框架结...

  • Python爬虫之Scrapy框架入门1

    环境搭建 在开始搭建scrapy爬虫的开发环境之前,建议已经安装Anaconda这个python发行版本,这个可以...

  • scrapy 环境搭建

    在win7环境下,以window7 64bit安装为例子 1. 下载python2.7环境 用浏览器打开https...

  • 使用树莓派搭建爬虫服务器

    为什么使用树莓派搭建自己的爬虫服务器? 树莓派使用Linux操作系统,完美支持爬虫框架Scrapy所需要的环境 爬...

  • Scrapy环境的搭建

    升级Python3 之前使用Scrapy开发爬虫都是在Python2的环境下进行,最近有看到有些工具包宣称不再对P...

网友评论

      本文标题:使用scrapy前的环境搭建

      本文链接:https://www.haomeiwen.com/subject/knrqzftx.html