Python初试-requests/re实现图片多页爬取，顺序编

0 前言

最近看完Python基本知识与正则表达式，尝试写下爬虫，发现不知怎么入手，就上网查了下，看到了一片文章，感觉还不错，根据上面的代码尝试写了下，虽然是别人的代码（代码并不是完全可以运行，有点问题），自己敲一遍也算练习了下，中间也尝试改动了一些。

参考文章：（http://www.jianshu.com/p/384bfb49cdd6）

1 功能与实现

1.1 功能：

爬取一个网站（ url = 'http://jandan.net/ooxx/'，爬完发现是个***网站）的图片，实现多页爬取，把爬取的图片按照1，2，3...编号

1.2 代码实现

首先贴出主程序：

def main():
    if not os.path.exists('folder'):#判断是否存在‘folder’文件夹
        os.mkdir('folder') #不存在则建立
    os.chdir('folder') #改变工作目录
    pages = 3 #选择爬取页数，也可以用imput，在程序运行时输入
    url = 'http://jandan.net/ooxx/'
    page_num = int(get_page(url)) #通过get_page(url)函数得到初始页码，便于爬取其他页码
    num = 0   # num是图片编码，在save_imgs函数中用到
    for i in range(pages): #逐一爬取每个网页
        page_num -= i #改变页码，选择上一网页
        page_url = url + 'page-' + str(page_num) + '#comments' #获取该网页的URL
        img_addrs = find_images(page_url) #获取该网页所有图片地址
        save_imgs(num, img_addrs) #保存图片
        num += len(img_addrs) #num作为图片编码，每次加上本次网页的图片数
if __name__ == '__main__':
    main()

接下来，逐一写出子函数
首先写出常用获取页面内容的函数（获取 text）,可作为常用函数

#获取URL返回网页的text，图片的信息存在content中
def getHTMLText(url):
    try:
        r = requests.get(url) #request get命令
        r.raise_for_status() 
        r.encoding = r.apparent_encoding 
        return r.text
    except:
        return ""

获取首页页码值

def get_page(url):
    html = getHTMLText(url) #获取网页内容
    page = re.search(r'page-[0-9]{3}#', html).group() #找出含有本页网址的那一段字符串
    page_number = re.search(r'[0-9]{3}', page).group() #从这一段字符串提取出页码
    return page_number #返回页码

获取网页的所有图片地址

def find_images(url):
    html = getHTMLText(url) #获取网页内容
    img_src1 = [] 
    img_src0 = re.findall(r'<img\ssrc=\".*?(?:\.jpg|\.png|\.gif)', html) #获取该页面所有包含图片源地址的字符串
    for img_src in img_src0:
        img_src1.append(img_src[10:])  #获取该页面所有图片地址
    return img_src1

保存图片

def save_imgs(num, img_addrs):
    for img_addr in img_addrs: #图片网址循环
        num += 1 #每次加1 实现编码
        filename = str(num) + '.' + img_addr.split('.')[-1]  #图片名称，img_addr.split('.')[-1]是用于获取jpg，png，gif等格式，例如，名称为1.jpg
        img = requests.get('http:{}'.format(img_addr)).content #获取图片网址的内容，以二进制内容保存图片内容
        with open(filename, 'wb') as f:  
            f.write(img)

3 问题：

编写过程中，存在一个问题
正则表达式，r'<img\ssrc=\".*?(?:\.jpg|\.png|\.gif)'可以实现获取源地址，若去掉?:改为r'<img\ssrc=\".*?(\.jpg|\.png|\.gif)'，则获取的字符串是.jpg，不包含源地址

4 总结

1. 开始时，学习别人的代码，自己尝试修改，可以尽快熟悉
2. 入门后，尽快多写代码，爬不同的网站
3. 有时候，一个小错误，查找了半天，编程要仔细
4. 待续。。。。。。。。。。。。。。。。。。。。