美文网首页呆鸟的Python数据分析程序员大数据 爬虫Python AI Sql
小猪的Python学习之旅 —— 4.Scrapy爬虫框架初体验

小猪的Python学习之旅 —— 4.Scrapy爬虫框架初体验

作者: coder_pig | 来源:发表于2017-12-29 17:25 被阅读193次

    1.官方文档与简介

    官方文档https://docs.scrapy.org/en/latest/

    简介

    Scrapy,谐音西瓜皮,Python开发的一个快速、高层次的屏幕抓取和
    web抓取框架,用于抓取web站点并从页面中提取结构化的数据。
    Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。

    Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求
    方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、
    sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。


    2.Scrapy安装

    • Window

    网上的安装教程都很繁琐,偶然间发现一种傻瓜式的,直接安装:Anaconda
    选择对应的windows版本,然后傻瓜式下一步就可以了,安装完成后,
    点击开始找到并打开:

    验证通过后回复 加群 即可获得加群链接(不要把机器人玩坏了!!!)~~~
    欢迎各种像我一样的Py初学者,Py大神加入,一起愉快地交流学♂习,van♂转py。


    相关文章

      网友评论

        本文标题:小猪的Python学习之旅 —— 4.Scrapy爬虫框架初体验

        本文链接:https://www.haomeiwen.com/subject/zkcwgxtx.html