如果爬虫需要展现速度，我觉得就是去下载图片吧，原本是想选择去煎蛋那里下载图片的，那里的美女图片都是高质量的，我稿子都是差不多写好了的，无奈今天重新看下，妹子图的入口给关了。
至于为什么关呢，大家可以去看看XXX日报的关停原因吧或者百度下，这里就不多说了，这次我选择了去下载无版权高清图片，因为做自媒体的人很怕侵权，找无版权的图片仿佛成了日常工作，所以这次我选择了这个网站
链接
那下面来看看使用异步以及不使用异步的差别？
(右边是使用异步的，左边是没有使用异步的，由于用于测试，所以选择下载12张图片即可)
可以看到，在使用异步之后运行的时间比不使用异步的程序少了差不多6倍的时间，是不是感觉到high了起来？那我们分析下怎样爬取吧。小编推荐一个学python的学习裙，【六九九+七四九+八五二】，无论你是大牛还是小白，是想转行还是想入行都可以来了解一起进步一起学习！裙内有开发工具，很多干货和技术资料分享！
1. 找目标网页
这个网站首页就有一堆图片，而且往下拉时还会自动刷新，很明显是个ajax加载，但不怕，动态加载这东西我们之前讲过了，所以打开开发者工具看下是怎样的请求吧。
往下拉的时候很容易看到这个请求，这个是一个get请求，状态码为200，网址链接
返回来的内容是个json类型，里面的links下的download就是我们图片下载的链接，现在所有东西都清楚了，那下面就是代码了。小编推荐一个学python的学习裙，【六九九+七四九+八五二】，无论你是大牛还是小白，是想转行还是想入行都可以来了解一起进步一起学习！裙内有开发工具，很多干货和技术资料分享！
2. 代码部分
asyncdef__get_content(self, link):
asyncwithai
response =awaitsession.get(link)
content =awaitresponse.read()
returncontent
这个是获取图片的内容的方法，ai链接
下面是完整代码
importrequests, os, time
importai
链接asyncio
classSpider(object):
def__init__(self):
self.headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
self.num =1
if'图片'notinos.listdir('.'):
os.mkdir('图片')
self.path = os.path.join(os.path.abspath('.'),'图片')
os.chdir(self.path) # 进入文件下载路径
asyncdef__get_content(self, link):
def__get_img_links(self, page):
url =
data = {
'page': page,
'per_page':12,
'order_by':'latest'
}
response = requests.get(url, params=data)
ifresponse.status_code ==200:
returnresponse.json()
else:
print('请求失败，状态码为%s'% response.status_code)
asyncdef__download_img(self, img):
content =awaitself.__get_content(img[1])
withopen(img[0]+'.jpg','wb')asf:
f.write(content)
print('下载第%s张图片成功'% self.num)
self.num +=1
defrun(self):
start = time.time()
forxinrange(1,101): # 下载一百页的图片就可以了，或者自己更改页数
links = self.__get_img_links(x)
tasks = [asyncio.ensure_future(self.__download_img((link['id'], link['links']['download'])))forlinkinlinks]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
ifself.num >=10: # 测试速度使用，如需要下载多张图片可以注释这段代码
break
end = time.time()
print('共运行了%s秒'% (end-start))
defmain():
spider = Spider()
spider.run()
if__name__ =='__main__':
main()
可以看到不到50行的代码就可以把整个网网站的图片下载下来了，不得不吹一下python的强大~~~
福利时间：
爬取煎蛋妹子图片的程序作者 @sergiojune 已经写好了，如果大家需要的话，可以在下方留言，然后在后台留言索取，只限前 40 名哈！！！给大家看个效果先！
大家有什么不太明白的话可以在下方留言，作者会进行答疑回复。
网友评论