美文网首页
RoboBrowser:轻量级爬虫、自动化测试库

RoboBrowser:轻量级爬虫、自动化测试库

作者: 大邓和他的python | 来源:发表于2016-09-03 12:14 被阅读533次

    RoboBrowser: Your friendly neighborhood web scraper

    这句话是RoboBrowser官方给出的简短介绍,意思“爬东西就跟去邻居串门一样,特别简单友好”

    简单来说robobrowser是一个浏览器,没有界面的浏览器(Selenium也是一个浏览器,不过运行时你会看到电脑界面上启动了一个浏览器)。它调用了python的requestsBeautifulsoup库,如果你之前用过这两个库(写爬虫居家生活必备的库,没用过赶紧点击上面的链接看看中文的参考文档),你会觉得RoboBrowser忒简单,真TMD好用。
    RoboBrowser可以打开网页,点击链接和按钮并且提交表单。嗯,看上去功能好像不强大,不过如果让你爬需要登录验证的网站时候,先用RoboBrowser登录验证,那么后面你想干啥都可以,爬数据soeasy。
    具体可看虫师的博文
    还没被玩坏的robobrowser(2)——安装及快速开始
    还没被玩坏的robobrowser(3)——简单的spider
    还没被玩坏的robobrowser(4)——从页面上抓取感兴趣的内容
    还没被玩坏的robobrowser(5)——Beautiful Soup的过滤器
    还没被玩坏的robobrowser(6)——follow_link
    还没被玩坏的robobrowser(7)——表单操作

    关注微信公众号:大邓带你玩转python

    大邓带你玩转python
    每周有直播哦,扫码即可加入

    相关文章

      网友评论

          本文标题:RoboBrowser:轻量级爬虫、自动化测试库

          本文链接:https://www.haomeiwen.com/subject/izpkettx.html