scrapy是一个非常强大的爬虫框架,现在也是越来越多人用,安装也是很简单,由于我是在anaconda环境下装的,那我就来说明一下该环境的安装吧.
在anaconda安装是最简单不过了,直接conda install scrapy 就可以了,
基本操作命令我就不提了.
在用scrapy crawl 运行项目之后发现不能打印出我想要的结果,也在百度上找了许久,最后发现只需要在settinfs.py文件里将CONCURRENT_REQUESTS = 32的注释取消掉就可以了.
scrapy是一个非常强大的爬虫框架,现在也是越来越多人用,安装也是很简单,由于我是在anaconda环境下装的,那我就来说明一下该环境的安装吧.
在anaconda安装是最简单不过了,直接conda install scrapy 就可以了,
基本操作命令我就不提了.
在用scrapy crawl 运行项目之后发现不能打印出我想要的结果,也在百度上找了许久,最后发现只需要在settinfs.py文件里将CONCURRENT_REQUESTS = 32的注释取消掉就可以了.
本文标题：scrapy框架之crawl问题解决
本文链接：https://www.haomeiwen.com/subject/oshmtqtx.html
网友评论