首先,一键安装structure-spider
dev@ubuntu:~$ pip install structure-spider
scrapy做为主要依赖
最后,运行spider
dev@ubuntu:~/myapp/myapp$ scrapy crawl zhaopin
添加任务
spider开始运行,这里还是要推荐下小编的Python学习裙:【五 八 八,零 九 零,九 四 二】不管你是小白还是大牛,小编我都欢迎,不定期分享干货,包括小编自己整理的一份2018最新的Python资料和0基础入门教程,欢迎初学和进阶中的小伙伴。在不忙的时间我会给大家解惑
完成!
当然,说完全没有python代码是不可能的。在createspider时,程序已经为我们自动生成两个Py文件
在编写比较简单的python爬虫时,以上几步完全够用。当你想使用高级特性时,比如structure-spider的核心特性多请求组合抓取时,还是需要手动编写少量python代码来完成。
网友评论