美文网首页工具癖程序员进击的Python
用XPath Helper完成Bing每日壁纸的小爬虫

用XPath Helper完成Bing每日壁纸的小爬虫

作者: zhaoolee | 来源:发表于2019-02-26 08:50 被阅读126次

    为了让搜索变得有趣,谷歌提供了Google doogle, 微软提供了Bing壁纸, 百度直接抄了Google doogle(百度NB!), 作为一名摄影爱好者, 凭心而论, Bing每日壁纸的质量还是很高的, 值得收藏, 于是我写了一个获取Bing历史壁纸的爬虫(爬虫下载链接在文末)


    写爬虫也需要好工具, 这里推荐XPath Helper!

    安装XPath Helper

    打开需要爬取的网站

    https://bing.ioliu.cn/

    打开XPath Helper, 输入/html/body/div[@class="page"]/span, 获取页数信息

    获取图片日期信息

    /html/body/div[@class="container"]/div/div[@class="card progressive"]/div[@class="description"]/p[@class="calendar"]/em
    

    获取图片下载链接信息

    /html/body/div[@class="container"]/div/div/a/@href
    

    编写爬虫脚本,并运行

    如果你不是程序员, 也可以使用编译好的bing.exe, 右键管理员身份运行即可~


    爬虫脚本和.exe文件都被我放到了github上, 感兴趣可以自行下载, 链接地址 https://github.com/zhaoolee/ChromeAppHeroes/tree/master/%E7%9B%B8%E5%85%B3%E8%B5%84%E6%BA%90/bing

    插件下载地址

    https://chrome.google.com/webstore/detail/xpath-helper/hgimnogjllphhhkhlmebbmlgjoejdpjl


    本文属于Chrome插件英雄榜文集的一部分, 为了集合更多的程序员和工具爱好者, 将Chrome插件英雄榜维护下去, 我已将Chrome插件英雄榜 文集的所有内容托管到Github, 项目地址https://github.com/zhaoolee/ChromeAppHeroes , 欢迎广大程序员和工具爱好者们为项目贡献力量, 也欢迎拥有Github账户的朋友们为本项目加星, 非常感谢!

    相关文章

      网友评论

        本文标题:用XPath Helper完成Bing每日壁纸的小爬虫

        本文链接:https://www.haomeiwen.com/subject/jmxnyqtx.html