Python爬虫一网打尽你惦记的那些图片

cgx.jpg

用Python写的图片爬虫，根据输入主题词（如‘街拍’、‘明星’、‘艺术照’等）将整个网站的图片下载到硬盘。程序自动在代码文件所在目录下建立‘MeizitiankonG’目录，并在其下以主题词作为文件名建立下级目录，将该主题下的所有图片存储于此。

程序采用多进程，下载速度非常快，可以修改进程数量。具体代码如下，下载后可直接运行，稍作修改便可爬取其他网站内容。

# -*- coding: utf-8 -*-
"""
Created on Mon Aug  6 11:31:58 2018
@author: cgx
"""
import os
import requests
from requests.exceptions import RequestException
from urllib import parse
import re
from bs4 import BeautifulSoup
import multiprocessing
import random
import time
###################
#全局变量
PICTURE_TOPIC = '明星' # 图片主题
FIRST_LIST_PAGE_URL = 'http://www.girlsky.cn/tag/' + parse.quote(PICTURE_TOPIC) # 将汉字转化成编码
global MY_HEADERS
MY_HEADERS = [
    "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36",
    "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/537.75.14",
    "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Win64; x64; Trident/6.0)",
    'Mozilla/5.0 (Windows; U; Windows NT 5.1; it; rv:1.8.1.11) Gecko/20071127 Firefox/2.0.0.11',
    'Opera/9.25 (Windows NT 5.1; U; en)',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
    'Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Kubuntu)',
    'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12',
    'Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9',
    "Mozilla/5.0 (X11; Linux i686) AppleWebKit/535.7 (KHTML, like Gecko) Ubuntu/11.04 Chromium/16.0.912.77 Chrome/16.0.912.77 Safari/535.7",
    "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:10.0) Gecko/20100101 Firefox/10.0 "
]
def Get_one_page_html(page_url): #page_url是网址
    '''得到一个静态网页的html代码作为返回值，输入参数page_url是网页的网址'''
    headers = {'User-Agent':random.choice(MY_HEADERS),'accept':'image/webp,image/apng,image/*,*/*;q=0.8'}
    try:
        response = requests.get(page_url,headers=headers) #用requests.get()得到返回结果，包含各种从网页上获取的信息
        if response.status_code == 200: #如果得到网页成功，则返回200（这是统一标准）
            return response.text #返回对象的text属性就是得到的网页代码（也是我们要着重进行解析的内容）
        else:
            print('response.status_code: {}'.format(str(response.status_code)))
            return None
    except RequestException:
        print('！得到网页代码（html）失败：{}'.format(page_url))
        return None
def File_path():
    '''#建立文件保存路径'''
    file_path = os.getcwd() +'\\MeizitiankonG\\'+PICTURE_TOPIC+'\\'      #获取到当前文件的目录，并检查是否有report文件夹，如果不存在则自动新建report文件
    if not os.path.exists(file_path):
        os.makedirs(file_path)
    return file_path
def Parse_list_page(one_listpage_html): #
    '''输入参数是待解析的网页代码，由Get_one_page_html()返回；
    获得单页上所有图组的链接网址，每个网址对应一个图组
    该函数是一个yield生成器
    '''
    soup = BeautifulSoup(one_listpage_html,'lxml') #形成BS对象
    a_lags = soup.select('div.postContent > div#picture > p > a') # 利用css选择器得到单也上所有组图的网址，在对应的a标签中
    if a_lags == []:
        print('!Fail：从主网页上匹配不同图组网址失败！')
    for a_lag in a_lags:
        yield(a_lag.attrs['href']) #从所有a标签的href属性获取网址
def Get_total_page_num():
    '''从第一个图组列表网页得到该主题共有多少个网页'''
    first_list_page_html = Get_one_page_html(FIRST_LIST_PAGE_URL)
    soup = BeautifulSoup(first_list_page_html,'lxml') #形成BS对象
    total_page_number = int(soup.select('div.pagebar > span.dots + [title]')[0].get_text()) #得到总网页数
    return total_page_number
def Download_one_img(img_url,saveimg_name,file_path,page_index,group_index,img_index):
    '''下载并保存“一张”图片，关键参数img_url是图片的网址，是我们从网页中提取出来的
       saveimg_name，自定义保存图片名称，不包括后缀
       file_path，保存目标文件，自定义'''
    headers = {'User-Agent':random.choice(MY_HEADERS),'accept':'image/webp,image/apng,image/*,*/*;q=0.8'}
    time.sleep(random.choice([0.1, 0.05, 0.07]))
    try:
        response = requests.get(img_url,headers=headers) #同样用requests.get()得到图片对应的网页信息（关键步骤）
#        print(response)
        if response.status_code == 200: #如果得到网页成功，则返回200（这是统一标准）
            img_binary = response.content #通过网页返回对象的content参数得到图片的二进制数据（关键步骤）
            with open(file_path+str(saveimg_name)+'.jpg','wb') as f: #注意打开的是就jpg文件
                f.write(img_binary)
                print('"{}"主题：成功下载第{}页-第{}组-第{}张图！'.format(PICTURE_TOPIC,page_index,group_index,img_index))
        else:
            print('Fail:response.status_code=%d !'%(response.status_code))
    except RequestException:
        print('！下载图片失败: 网页号 '+str(page_index)+', 图组号 '+str(group_index)+', 图片号 '+str(img_index))
def Download_all_imgs_in_one_group(first_group_img_url,page_index,group_index):
    '''根据每组组图的第一页的网址将该组所有图片下载
    first_group_img_url是某组图片第一张图所在网址'''
#    print(first_group_img_url)
#   从单组图片第一张图所在的网页获得该组图共有几张图，这个数字与每个图所在网页的网址有联系
    one_imgpage_html = Get_one_page_html(first_group_img_url) #获取第一张图片所在网页html代码
    soup = BeautifulSoup(one_imgpage_html,'lxml') #形成BS对象
     #从某组图片首图所在网页中得到该组图片的总图片张数
    span_lag_text = soup.select('span.rw')[0].get_text() #获取单个组图共有多少张图所在的span标签的内容,用get_text()方法提取
    try:
        TOTAL_IMG_DOWNLOAD = int(re.findall(r'.*?/(.*?)页',span_lag_text)[0]) #用正则化方法将字符数字匹配出来（存在列表中）
    except:
        print('Fail：获取pagenum: '+str(page_index)+', groupnum: '+str(group_index)+' 失败！')
        return
    #循环得到每张图所在网页，并从中获取对应图片网址，然后下载保存
    img_index = 0 #统计图片
    for img_num in range(TOTAL_IMG_DOWNLOAD):
        img_index +=1
        #根据单个组图总图片数得到每个图片所在网页网址
        if img_num == 0:
            offset = ''
        else:
            img_num += 1
            offset = '/'+str(img_num)+'/'
        one_imgpage_url = first_group_img_url + offset
        #根据单个图片所在网址代码得到图片本身的网址url
        one_imgpage_html = Get_one_page_html(one_imgpage_url) #获取单张图片所在网页html代码
        if one_imgpage_html == None: #如果获取当前图片所在网页失败，则跳到下一张
            continue
        soup = BeautifulSoup(one_imgpage_html,'lxml') #形成BS对象
        img_lag = soup.select('div.postContent > div#picture > p > a > img') #利用css选择器得到单张图片网址所在的标签img，只有一个
        img_url = img_lag[0].attrs['src'] #利用img标签的attrs()方法从src属性中得到单个目标图片的地址
        #根据图片网址下载保存图片
        file_path = File_path() #取得存储文件的目录（完全自定义）
        saveimg_name = str(page_index)+'-'+str(group_index)+'-'+str(img_index) #暂时用图片网址保存图片
        Download_one_img(img_url,saveimg_name,file_path,page_index,group_index,img_index)
def Download_all_imgs_in_one_listpage(page_num):
    '''保存单个静态网页上的图片，输入参数page_num是静态网页的个数'''
    page_index = page_num + 1
    #根据总网页数得到每个网页所在网址
    if page_num == 0:
        offset = ''
    else:
        page_num += 1
        offset = '/'+str(page_num)
    one_listpage_url = FIRST_LIST_PAGE_URL + offset #不同列表页网址
    print('第'+str(page_index)+'个list网页网址: '+one_listpage_url)
    one_listpage_html = Get_one_page_html(one_listpage_url)
    if one_listpage_html == None: #判断得到网页是否正确
        print('!获取列表网页代码失败： '+one_listpage_url)
        return None #若失败则结束该函数
    group_index = 0
    for first_group_img_url in Parse_list_page(one_listpage_html):#从一个标签页得到不同图组的首张图片所在网址
        group_index +=1
        if first_group_img_url == '[]': #如果得到的网址为空，则跳到下一个
            continue
    Download_all_imgs_in_one_group(first_group_img_url,page_index,group_index)
def main():
    print('"' + PICTURE_TOPIC + '"' + '主题:第1个list网页网址: ' + FIRST_LIST_PAGE_URL)
    total_page_num = Get_total_page_num()  # 根据当前主题首页得到总网页数
    print('"' + PICTURE_TOPIC + '"' + '主题:总网页数: ' + str(total_page_num))

# #    普通方法对每一个静态网页循环，速度慢
#     for page_num in range(total_page_num): #网页循环
#        Download_all_imgs_in_one_listpage(page_num)

#    或者用进程池对不同静态网页同时下载，速度快
    pool = multiprocessing.Pool(10) #开启进程数
    pool.map(Download_all_imgs_in_one_listpage, [page_num for page_num in range(total_page_num)])
    pool.close()#关闭进程池，不再接受新的进程
    pool.join()#主进程阻塞等待子进程的退出

if __name__ == '__main__':
    print('The spider is working now, please wait……')
    start = time.clock()
    main()
    end = time.clock()
    print ('Total running time : {} s'.format(int(end-start)))

最终结果：

运行结果.png
爬取结果.jpg