美文网首页python机器学习爬虫大数据 爬虫Python AI Sql
Python一键生成个性爬虫,想爬哪就点哪!

Python一键生成个性爬虫,想爬哪就点哪!

作者: Python学习 | 来源:发表于2018-04-11 23:11 被阅读41次

    首先,一键安装structure-spider

    dev@ubuntu:~$ pip install structure-spider

    scrapy做为主要依赖

    最后,运行spider

    dev@ubuntu:~/myapp/myapp$ scrapy crawl zhaopin

    添加任务

    spider开始运行,这里还是要推荐下小编的Python学习裙:【五 八 八,零 九 零,九 四 二】不管你是小白还是大牛,小编我都欢迎,不定期分享干货,包括小编自己整理的一份2018最新的Python资料和0基础入门教程,欢迎初学和进阶中的小伙伴。在不忙的时间我会给大家解惑

    完成!

    当然,说完全没有python代码是不可能的。在createspider时,程序已经为我们自动生成两个Py文件

    在编写比较简单的python爬虫时,以上几步完全够用。当你想使用高级特性时,比如structure-spider的核心特性多请求组合抓取时,还是需要手动编写少量python代码来完成。

    相关文章

      网友评论

        本文标题:Python一键生成个性爬虫,想爬哪就点哪!

        本文链接:https://www.haomeiwen.com/subject/kyjtkftx.html