第一大规模的爬取网站多页的照片,本来想爬weheartit.com上霉霉的图片的,发现根本上不了那网,上了代理都打不开,就转来爬LOFTER的图练手了。
上面两个图分别是程序和爬到的图片。
总结:
一、爬取需要登录的网站在加headers验证爬取。
二、保存到本地时候,如果是纯图片就用二进制方式写获得的图片的content就可以了。
第一大规模的爬取网站多页的照片,本来想爬weheartit.com上霉霉的图片的,发现根本上不了那网,上了代理都打不开,就转来爬LOFTER的图练手了。
上面两个图分别是程序和爬到的图片。
总结:
一、爬取需要登录的网站在加headers验证爬取。
二、保存到本地时候,如果是纯图片就用二进制方式写获得的图片的content就可以了。
本文标题:在网易LOFTER爬美眉照片
本文链接:https://www.haomeiwen.com/subject/vszedttx.html
网友评论