python爬虫学习基础教程，批量抓取美女图片！

python的抓取功能其实是非常强大的，当然不能浪费，呵呵。下面就与大家分享一个python写的美女图自动抓取程序吧！

学习python、python爬虫过程中有不懂的可以加入我的python零基础系统学习交流秋秋qun：前面是934，中间109，后面是170，与你分享Python企业当下人才需求及怎么从零基础学习Python，和学习什么内容。相关学习视频资料、开发工具都有分享！

其中用到urllib2模块和正则表达式模块。下面直接上代码：

用python批量抓取美女图片

#!/usr/bin/env python

#-*- coding: utf-8 -*-

#通过urllib(2)模块下载网络内容

import urllib,urllib2,gevent

#引入正则表达式模块，时间模块

import re,time

from gevent import monkey

monkey.patch_all()

def geturllist(url):

    url_list=[]

    print url     

    s = urllib2.urlopen(url)

    text = s.read()

    #正则匹配，匹配其中的图片

    html = re.search(r'<ol.*</ol>', text, re.S)

    urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)

    for i in urls:

        url=i.group(1).strip()+str("jpg")

        url_list.append(url)

    return url_list

def download(down_url):

    name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)

    print name

    urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)

def getpageurl():

    page_list = []

    #进行列表页循环

    for page in range(1,700):

        url="http://jandan.net/ooxx/page-"+str(page)+"#comments"

        #把生成的url加入到page_list中

        page_list.append(url)

    print page_list

    return page_list

if __name__ == '__main__':

    jobs = []

    pageurl = getpageurl()[::-1]

    #进行图片下载

    for i in pageurl:

        for (downurl) in geturllist(i):

            jobs.append(gevent.spawn(download, downurl))

    gevent.joinall(jobs)

程序不长才45行，不是太难，大家可以研究下，这里我只是抛砖引玉，大家可以根据原理开发出其他的抓取程序，呵呵，自己想去吧。。