色即是空-Python疯狂爬虫-煎蛋美女图

目标：

抓取煎蛋美女图片，通过实践熟悉python相关模块及字典的应用。

声明：
本程序仅用于交流学习研究，请勿频繁抓取数据对相关网站造成影响.

Cue→Routine→Reward，触发机制、模式、激励，这是促成习惯的三个要素，这个结论来自《习惯的力量》，这个说法在提升自己的动机、改变拖延上是非常有帮助的。

• 不依赖毅力，导入促进自己不断学习的机制。
  • 找到动机（奖励：美女图片）
  • 让学习快乐的机制

我们将通过抓取美女图片来学习如何抓取网页（吊丝的最爱^_）。

动机，在心理学上一般被认为涉及行为的发端、方向、强度和持续性。动机为名词，在作为动词时则多称作激励。在组织行为学中，激励主要是指激发人的动机的心理过程。通过激发和鼓励，使人们产生一种内在驱动力，使之朝着所期望的目标前进的过程；又在此过程中，动机通常不会是一成不变的，相反地，动机可能会增加或降低。然而，不管动机水准的高低为何，人们若能维持一定的动机水准，则不但能维持追求该目标的行为，也能维持心理上对该目标的渴望，直到人们知觉到该目标达成为止，因此动机时常被视为是行为的前导驱力，若能掌握人们的动机，则往往可以协助预测其行为的方向性与模式。 ...
[http://zh.wikipedia.org/zh-cn/动机]

流程：

1. 建立下载目录:jiandanxxoo20160612
2. 创建随机的user-agent
3. 获取图表url
4. 下载保存图片

核心知识要点：

1. requests
2. bs4
3. time
4. random
5. os , path
6. with...open 保存文件
7. for , 字典
8. 函数

[code]：

#/usr/bin/env python3.5
# -*- coding: utf-8 -*-
__author__ = 'zenway33'

from bs4 import BeautifulSoup
import requests
import time
import random
import os

# 建立一个目录用于存储下载的文件:
img_dir = 'jiandanxxoo20160612'
if not os.path.isdir(img_dir):
    os.mkdir(img_dir)

# 获取一个随机的header
def random_header():
    #def LoadUserAgents(uafile="user_agents.txt"):
    def load_useragents(uafile="user_agents.txt"):
            """
            uafile : string
                path to text file of user agents, one per line
            """
            uas = []
            with open(uafile, 'rb') as uaf:
                for ua in uaf.readlines():
                    if ua:
                        uas.append(ua.strip()[1:-1-1])
            random.shuffle(uas)
            return uas

    # load the user agents, in random order
    uas = load_useragents(uafile="user_agents.txt")
    # load user agents and set headers
    ua = random.choice(uas)  # select a random user agent
    headers = {
        "Connection" : "close",  # another way to cover tracks
        "User-Agent" : ua}
    return headers


# proxy = {"http": "http://username:p3ssw0rd@10.10.1.10:3128"}
'''
headers = {
       'User-Agent': 'Mozilla/5.8 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'en-US,en;q=0.8',
       'Connection': 'keep-alive'
}
'''

# 单个页面的内容抓取分析
'''
url = 'http://jandan.net/ooxx/page-2007'
wb_data = requests.get(url,headers=headers)
soup = BeautifulSoup(wb_data.text,'lxml')

imgs = soup.select('p > img')

for img_url in imgs:
    url = img_url.get('src')
    print(url)
'''


# 下载文件,保存本地
def download(image_url, image_name):
    headers = random_header()
    r = requests.get(image_url, stream = True,headers=headers)
    #with open(path + '/' + '{}.jpg'.format(index), "wb") as fs:
    with open(os.path.join(img_dir, image_name), 'wb') as fs:
        fs.write(r.content)
        fs.close
    print("filename: %s , image_url: %s... is download" % (image_name, image_url))

# 获取图片url
def get_image_info():
    for page_num in range(2000,2015):

            headers = random_header()

            wb_data =requests.get('http://jandan.net/ooxx/page-{}'.format(page_num), headers=headers)
            time.sleep(5)
            soup = BeautifulSoup(wb_data.text,'lxml')
            image_urls =  soup.select('p > img')
            print("page_num: %s" % page_num)

            try:
                for index,image_url in enumerate(image_urls):
                    image_url = image_url.get('src')
                    data = {
                        'image_url' :image_url,
                        #'image_name'  :image_url.split('/')[-1]
                        'image_name' :'{}.jpg'.format(index)

                    }
                    #print(data)
                    image_url = data['image_url']
                    image_name = str(page_num) + '_' + data['image_name']
                    #download images
                    download(image_url, image_name)
            except:
                pass

if __name__ == "__main__":
    start_time = time.time()
    get_image_info()
    print("--- %s seconds ---" % (time.time() - start_time))

美女效果图：

参考：

https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/