python的介绍这里不再赘述，虽说用很多语言都能写出爬虫(哪怕是oc或者swift),但python毫无疑问是当前写爬虫最为优秀的语言之一。

虽说很久之前就下载了python3，PyCharm，但真正意义的学习是昨天开始的。

而且，学习python的初衷，也是为了写一手爬虫出去装逼，所以那些基础语法也就是大概看看，抱着用到时去谷歌的心态跳过了基础学习这一相当重要的过程(先整出一手爬虫再说)。

爬虫我个人认为上手很简单，主要有三点：网络请求，文件操作，正则表达

抱着借鉴一手的心态，去网上各种找源码。然而，本来python3的源码就相对较少，而且下过来大部分运行不了，各种报错。少数运行成功也没有成功爬取数据，看来还是要靠自己啊(之所以爬不出数据，原因很多，大多和爬取页面格式改变有关)。

首先确定爬取数据的目标：某个运行失败的源码中的目标：煎蛋妹子图(这就很舒服了。。。)

引用一些模块
import urllib.request 网络请求相关
import os 文件操作相关
import re 正则表达相关
import random 单纯的获取随机数

作为初学者，没有用框架的经验，什么scrapy的I don't care。

下面是主要代码(多为拷贝后修改)

首先，先写网络请求的代码

  def url_open(url):

     req = urllib.request.Request(url)
        req.add_header('User-Agent','Mozilla/5.0 (X11; Ubuntu; Linux         x86_64; rv:36.0) Gecko/20170522 Firefox/36.0')
    response = urllib.request.urlopen(req)
    return response.read()

然后去创建文件夹

def download_mm_img (folder='default',pages=10):
    if not os.path.exists(folder):#判断是否存在该文件夹
        os.mkdir(folder) #新建文件夹
    os.chdir(folder) #跳转到文件夹
    folder_top = os.getcwd() #获取当前工作目录
    for i in range(pages):
        page_num -= i #递减下载几个网页
        page_url = url + 'page-' + str(page_num) + '#comments' #组合网页地址
        img_addrs = find_imgs(page_url) #获取图片地址
        save_imgs(img_addrs,page_num,folder) #保存图片
        os.chdir(folder_top) #修改当前目录，也就是返回上一层

获取网页最新的地址

def get_page(url):
    html = url_open(url).decode('utf-8')
    pattern = r'<span class="current-comment-page">\[(\d{2})\]</span>' # 正则表达式寻找页面地址，这里要去看网页源代码，然后根据代码确定
    result = re.findall(pattern,html)
    page = int(result[0])
    return page

获取图片地址

def find_imgs(page_url):
    pattern = r'<img src="(.*?\.jpg)"'
    html = url_open(page_url).decode('utf-8')
    img_addrs = re.findall(pattern,html)
    return img_addrs

保存每个页面的图片

 def save_imgs(img_addrs,page_num,folder):

    if not os.path.exists(str(page_num)):#判断是否存在该文件夹
        os.mkdir(str(page_num))

    os.chdir(str(page_num))
    count = 0;

    for i in img_addrs:
         count += 1
          if not i.startswith('http:'):
             i = 'http:' + i

    filename = str(count) + 'wylog' + str(int(random.random()*1000)) + 'wylog' +  i.split('/')[-1]
    print('wylog',filename,i)
    image = url_open(i)
    with open(filename,'wb') as f:
        f.write(image)
        f.close()

下载过来的图片:

mm.png

源码地址：https://github.com/wangyongy/first-python