美文网首页程序员技术栈程序员
爬虫爬取大量高清壁纸,一分钟换一张壁纸

爬虫爬取大量高清壁纸,一分钟换一张壁纸

作者: 南风拂西洲 | 来源:发表于2019-01-05 22:55 被阅读69次
私房

用python爬取了大量美女图片,桌面壁纸每分钟不重样

废话少说,直接上代码

这个网站的小姐姐质量都挺不错的,下载需要会员或者付费下载,宅男的我很无奈,只有祭出Python大法了


数据接口

"https://tuchong.com/rest/tags/%E7%A7%81%E6%88%BF/posts?page=页数&count=20&order=weekly"

页数为 >0 的数字 

图片高清下载接口

"http://photo.tuchong.com/"+AuthorID+"/f/"+ImageID+".jpg"

AuthorID  ImageID  都在第一个接口中能够获取到

获取图册信息 下载图片 构造URL  爬取大量图片

总结:

请求时加 User-Agent 即可

反爬应对措施

  访问速度 同一ip 每次下载图片暂停1~2秒 否则会被禁止访问

    有稳定的代理IP可考虑多线程,速度更快

!!!!!!!!

仅供学习交流,勿用于商业用途

!!!!!!!!

滴滴,不会爬虫或者需要图片资源的私信我

相关文章

网友评论

    本文标题:爬虫爬取大量高清壁纸,一分钟换一张壁纸

    本文链接:https://www.haomeiwen.com/subject/auxjrqtx.html