美文网首页
基于python安装配置scrapy

基于python安装配置scrapy

作者: 你我的微笑 | 来源:发表于2019-12-05 16:25 被阅读0次

一、安装python3.6版本(版本随意,这里使用3.6)。
安装时注意点自定义安装,并且勾选自动添加环境变量和pip包管理,否则还要手动添加和手动下载pip(类似nodeJs的npm)。
二、检查更新pip
WIN+R 输入cmd,进入命令行,输入:pip -v,查看版本。
输入: python -m pip install --upgrade pip 升级pip。
三、安装scrapy
坑比较多,注意幸运女神降临。
--安装包下载网站:https://www.lfd.uci.edu/~gohlke/pythonlibs/。(需要哪个就Ctrl+F搜索下载)
1、先执行:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy(-i 是为了预防下载过慢,去镜像网站下载不会timeout)。
-- 注意会报什么错误,就去网站下相应的安装包。
2、安装wheel:pip install wheel(安装whl格式包需要安装wheel库)。
-- 如:
[
error:Microsoft Visual [C++](http://c.biancheng.net/cplus/) 14.0 is required. Get it with "Microsoft Visual C++ Build Tools":http://landinghub.visualstudio.com/visual-cpp-build-tools
--- 找到上面网站,搜索 Twisted ,找到如下图对应文件。

2018091616374251.png
执行:pip install XXXXXX(路径要正确+文件名).whl
成功则继续执行:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy
]
[
--继续错误:
Collecting cryptography Could not find a version that satisfies the requirement cryptography (from versions: ) No matching distribution found for cryptography
-- 执行: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple cryptography
]
诸如此类错误====
坚持不懈,祝君成功。

相关文章

  • scrapy从爬取到入库

    本文基于scrapy框架,获取链家网楼盘信息。 安装python3 下载python3,并安装。 配置环境变量:添...

  • scrapy学习

    一、云服务器配置:为Python安装scrapy 1)检查当前服务器是否安装Python scrapy模块 Pyt...

  • Scrapy 如何配置 MongoDB

    配置环境MacOS, Python3.6, scrapy 1.5 安装 MongoDB 安装 mongodb 启动...

  • 基于python安装配置scrapy

    一、安装python3.6版本(版本随意,这里使用3.6)。安装时注意点自定义安装,并且勾选自动添加环境变量和pi...

  • 爬虫必备技能 xpath 用法和实战

    环境配置 python3requestsscrapy 在安装 scrapy 之前需要先安装Twisted(点击下载...

  • CentOS 安装 Python3.7+OpenSSL1.1.1

    序:本文主要讲述基于Scrapy的爬虫环境安装操作。包括安装Python3.7,安装OpenSSL1.1.1,安装...

  • 利用Scrapy抓取豆瓣数据

    Scrapy 安装 如果你之前按照我的方案《小说python开发环境配置》配置好了Pyenv + pyenv-vi...

  • 爬虫0030:scrapy

    scrapy环境配置 首先确认我们的电脑上已经安装了如下程序:python2.7+:windows直接安装配置,u...

  • 爬虫-Scrapy框架使用

    Scrapy安装环境 : Python 3.6.4//安装 scrapypip3 install scrapy查看...

  • 2018-07-18

    [Python 3.6 安装scrapy报错 Python.h: 没有那个文件或目录] 安装scrapy的时候报错...

网友评论

      本文标题:基于python安装配置scrapy

      本文链接:https://www.haomeiwen.com/subject/jeadgctx.html