Python小爬虫

以Python3.6.3为基础，写了一个小爬虫，借鉴了一下大佬的部分思路，代码如下

import urllib
import urllib.request
import re
import os
import time

# ** 指定编码格式 ** 
import io
import sys
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')

# ** 抓取的地址 ** 
page_url = "http://www.baidu.com"

# ** 抓取的图片保存的路径 ** 
# ** 以Mac为例 **
img_save_path = '/Users/a1/Desktop/Spider_Image' + os.sep + time.strftime('%Y%m%d') 

# ** 保存到当前程序的根目录 **
# img_save_path = time.strftime('%Y%m%d') 

# ** 获取html数据 **
def get_html_page(url):
    
    # 指定请求头，模拟请求设备环境
    headers = {
        "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.13; rv:43.0) Gecko/20100101 Firefox/43.0",
        "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    }

    # 请求
    url_request = urllib.request.Request(url,headers=headers)

    # 获取相应数据
    url_reponse = urllib.request.urlopen(url_request)

    # 读取相应数据
    page_data = url_reponse.read()
    return page_data

# ** 获取网页中的图片 **
def get_page_image(html_data):
    
    # 判断保存路径是否存在
    if not os.path.exists(img_save_path ):
        os.makedirs(img_save_path)
    
    # 筛选图片路径的正则表达式
    regular = r'http\D://[\S]*\.png'

    # 根据包含正则表达式的字符串创建模式对象
    pattern = re.compile(regular)

    # 返回string中所有与pattern相匹配的全部字串，返回形式为数组
    user_get_img = re.findall(pattern,repr(html_data))

    img_num = 0
    for img in user_get_img:
        
        # 根据img的地址，再次获取html数据
        image = get_html_page(img)

        # img_trget img的保存路径和名称，’wb‘ 以二进制写模式打开
        img_target = img_save_path + os.sep + '{}.jpg'.format(img_num)
        with open(img_target,'wb') as img_file:

            # 写入文件
            img_file.write(image)
            print("正在下载第 {} 张图片".format(img_num))
            img_num += 1



if not __name__ == '__main':
    get_page_image(get_html_page(page_url))

运行结果

[Running] python "/Users/a1/Desktop/python_test/NetSpider.py"
正在下载第 0 张图片
正在下载第 1 张图片
正在下载第 2 张图片
正在下载第 3 张图片
正在下载第 4 张图片
正在下载第 5 张图片
正在下载第 6 张图片
正在下载第 7 张图片
正在下载第 8 张图片
正在下载第 9 张图片
正在下载第 10 张图片
正在下载第 11 张图片
正在下载第 12 张图片
正在下载第 13 张图片
正在下载第 14 张图片

[Done] exited with code=0 in 2.167 seconds

已解决的问题
print函数不能输出中文的问题，可添加如下代码来指定编码格式

# ** 指定编码格式 ** 
import io
import sys
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')

未解决的问题:

正则表达式匹配图片路径的问题

这个问题稍后修复。

代码的不足之处还请多多指教，谢谢了。