最近跟着视频公开课的老师学习了简单的爬虫，学习过程中除了学到一些比较有趣的技术，还接触到一些以前不知道的但是很有意思的网站。其中斗图啦这个网站让我印象很是深刻，大概和我平时跟朋友们斗图的时候总是处于被动挨打的地位有关吧。也不知道朋友们从哪里搞来那么多的图片，可以通过这些生动的图片表达自己的各种微心理。一方面对他们发过来的图片炮弹进行各种反击，一方面又各种收藏他们的图片以备下次斗图。但是，微信收藏表情的数量是有上限的，不能一直收藏，要是遇到更有趣的图片，就只能忍痛割爱了，即便这么实时更新自己的“弹药库”，斗图也是输多赢少。抓取斗图啦网站的图片来壮大自己的“弹药库”这个想法也就自然应运而生了。我的具体做法也很简单：先跟着视频公开课，把视频上的课都复演一遍，就可以把整个爬虫的思路和框架大概了解了一下。但是，视频课上的老师演示的是抓取jpg格式的图片，无论jpg还是png格式的图片都是静态的图片，在斗图日趋火爆的今天，感觉这种“炮弹”的“杀伤力”不是很大啊，最好是动图，而且是要那种有多嘚瑟就有多嘚瑟的，这样发到对方手机上，才能更有效果吧。我在完成代码的基础上，做了一些修改。这么做是为了让代码的扩展性更强一点，方便我按需获取我想要的图片格式，或者获取所有我想要的图片格式。思路大概就是这样，不是很难，最后需要加上异常处理以及多线程来完善整个代码块，使得整个代码的稳定性和效率都能提高一些。
简单介绍完自己做这事的小动机和思路，下面就直接上代码和效果图，因为第一次发文，所以不足之处在所难免，还望各位看官多多包涵。
代码：
# -*- coding:utf-8 -*-
__author__ = 'YangW'
import requests,threading
from lxml import etree
from bs4 import BeautifulSoup
def get_html(url):
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}
try:
response = requests.get(url, headers=headers)
html = response.content
return html
except:
print('request error')
pass
#匹配图片url,通过自定义函数来实现
def get_img_html(html):
soup = BeautifulSoup(html,'lxml')
all_a = soup.find_all('a',class_='list-group-item')
for i in all_a:
img_html = get_html(i['href']) #获取源码
get_img(img_html)
#图片url
def get_img(html):
soup = etree.HTML(html)
items = soup.xpath('//div[@class="artile_des"]')
for item in items:
imgurl_list = item.xpath('table/tbody/tr/td/a/img/@onerror')
start_save_img(imgurl_list)
#下载图片
x = 1
def save_img(img_url):
global x
x+=1
img_url = img_url.split('=')[-1][1:-1]
suffix = img_url.split('.')[-1]
if suffix=='gif':
print u'正在下载'+'http:'+img_url
img_content = requests.get('http:'+img_url).content
with open('doutu/%s.%s'%(x,suffix),'wb') as f:
f.write(img_content)
def start_save_img(imgurl_list):
for i in imgurl_list:
# print i
th = threading.Thread(target=save_img,args=(i,))
th.start()
#主函数
def main():
start_url = 'https://www.doutula.com/article/list/?page={}'
#for i in range(21,532):
#for i in range(1,5):
for i in range(1,2):
start_html= get_html(start_url.format(i)) #获取源码
get_img_html(start_html) #获取内页图片的url
if __name__ == '__main__': #判断文件入口
main()
效果图:
1.抓一波日常斗图
图1 日常动图
2.抓一波圣诞特辑
图2 圣诞动图
说明：这个下载下来直接查看是很难的，一般电脑默认的图片查看器是无法查看这种gif格式的动图的，除非你以网页的形式打开。为了使您正常浏览爬取到的动图，建议安装“美图看看”软件以便查看。当然，如果要把这些动图发到微信上，是可以正常显示的。
今天圣诞节，打开手机，在各种祝福满天飞的时候，不知道您是否有种手机里祝福的图片不是很多或者很多都是别人发过的感觉，再发一遍，情义肯定是会有的，但新意似乎就有点不给力啊，为了让您的新意配得上您的心意，不知道您是否有想过爬点别出心裁的图片以表达自己在圣诞节对家人，佳人，和朋友满满的祝福，如果这种想法在您内心深处蠢蠢欲动的话，希望这篇小文章和小想法对您能有所帮助。
对于想要进一步深入了解Python的并且想要通过学习点Python让自己的生活有点小改变的话，请加QQ：181670897 ，加群邀请码：星海，群里各路大神可以为您指点迷津，各类Python达人将让您眼前一亮。
如果您觉得还是有点意思的话，不妨传播下去，让更多的小伙伴因为Python而嗨起来！
网友评论