10分钟用python爬虫爬网站的视频和图片

网站分析：

我们点视频按钮 可以看到url是：http://www.budejie.com/video/

接着我们点开网页源码，看下面之处

接着我们把那个下面画红线的链接点开，可以看到是个视频。

下面我进行相似的操作点图片按钮，可以看到链接：http://www.budejie.com/pic/

接着我们点开网页源码。

wKioL1evU8LxSY-OAACOF-1q7bU861.png-wh_50

相同操作，我们点开链接：http://mpic.spriteapp.cn/ugc/2016/07/07/577d9f0cdd67d_1.jpg

基本上就是这么个套路，也就用了python的两个模块 一个urllib 一个re正则

效果图：

这个是我爬下来的图片

wKioL1evT8vRgjFVAAOr_Zf6IYc323.png-wh_50

这个是我爬下来的视频

这个是我把Linux上的视频拖一下到Windows上给大家看效果。

下面直接上代码！！！

爬视频的代码

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import urllib,re
def geturl():
    html = urllib.urlopen("http://www.budejie.com/video/").read()
    reg = r'data-mp4="(.*?)"'
    return re.findall(reg,html)
for page in range(1,100):
    for i in geturl():
        print i   #i是视频的链接地址
        video = urllib.urlopen(i).read()
        fwc = open('./video/%s' %i.split('/')[-1],'wb')
        fwc.write(video)
        fwc.close()             

爬图片的代码

# -*- coding:utf-8 -*-
import urllib,re
def geturl():
    html = urllib.urlopen("http://www.budejie.com/pic/").read()
    reg = r'data-original="(.*?)"'  
    return re.findall(reg,html)
for page in range(1,100):
    for i in geturl():
        print i   #i是图片的链接地址
        video = urllib.urlopen(i).read()
        fwc = open('./picture/%s' %i.split('/')[-1],'wb')
        fwc.write(video)
            fwc.close() 

如果你依然在编程的世界里迷茫，可以加入我们的Python学习扣qun：784758214，看看前辈们是如何学习的！交流经验！自己是一名高级python开发工程师，从基础的python脚本到web开发、爬虫、django、数据挖掘等，零基础到项目实战的资料都有整理。送给每一位python的小伙伴！分享一些学习的方法和需要注意的小细节，点击加入我们的 python学习者聚集地