美文网首页程序员
scrapy的安装和项目创建

scrapy的安装和项目创建

作者: pillows | 来源:发表于2019-08-19 15:07 被阅读0次

    1、首先安装wheel

    # 安装依赖包
    pip install wheel
    

    2、然后下载驱动

    https://www.lfd.uci.edu/~gohlke/pythonlibs/

    下载网址(在最后面)

    下载好后放到桌面,Shift cmd命令符窗口

    pip install Twisted-17.9.0-cp36-cp36m-win32.whl
    

    安装

    3、安装pywin32

    pip install pywin32
    

    4、安装pip install Scrapy

    pip install Scrapy
    

    5、创建项目

    scrapy startproject ArticleSpider
    
    scrapy startproject spider1
    

    6、创建爬虫类

    # tencentPostion为爬虫名,tencent.com为爬虫作用范围
    
    scrapy genspider tencentPostion "tencent.com"
    
    scrapy genspider test "tencent.com"
    
    #自动爬虫的创建
    
    scrapy genspider -t crawl Crawlspider domain.com
    

    ubuntu安装scrapy

    1、安装python-dev

    # 这里的python需要跟python版本相同
    sudo apt-get install python-dev
    

    2、依次安装(我直接跳过了这个阶段 )

    sudo apt-get install build-essential
    
    sudo apt-get install libxml2-dev
    
    sudo apt-get install libxslt1-dev
    
    sudo apt-get install python-setuptools
    

    3、最后正常安装

    pip install scrapy
    

    4、输入scrapy验证是否安装成功了

    相关文章

      网友评论

        本文标题:scrapy的安装和项目创建

        本文链接:https://www.haomeiwen.com/subject/ovnssctx.html