Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络抓取)所设计的,也可以应用在获取API所返回的数据或者通用的网络爬虫。
创建项目
scrapy startproject [项目名]
运行爬虫
scrapy crawl [爬虫名]
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取(更确切来说,网络抓取)所设计的,也可以应用在获取API所返回的数据或者通用的网络爬虫。
scrapy startproject [项目名]
scrapy crawl [爬虫名]
本文标题:2020-02-24 爬虫框架scrapy学习&01简单使用
本文链接:https://www.haomeiwen.com/subject/ozuwqhtx.html
网友评论