第一个爬虫项目

image.png

周末花了点时间学习爬虫，果然还是挺难的（To me。。），不得不说，其中还是有许多坑在里面，比如你要理解网页里各个部分的构成，找到你所需要的东西，然后用正则表达式将其匹配出来，一个经典的笑话：
当你有一个困难，你发现用正则表达式可以解决这个困难的时候，好了，这下你就会有两个困难了..，正则表达式入门的确不难，但要掌握或者是熟练他的确需要很多脑筋，跟着教程学了一遍，做了第一个小项目，不大，主要是入门来练习下，后面本来想爬教务处里各个老师的信息的，结果竟然要VPN，我输入之后从python里爬取好像还访问不了，exm?不过也可能是我哪里写错了，下次再试试。
挺郁闷的，就这样个小项目竟然花了整整两天，本来还打算周末出去玩玩的，因为眼睛不知道怎么回事这一周都有点看不清，可能是对着屏幕看太多了，看来要注意点了，把眼睛整坏就不好了.

image.png

代码

导入模块，主要是要request模块，貌似美丽汤（beautifulsoup）也挺厉害，有时间看看

import re
import urllib.request
import os
import ssl

访问网页

def open_url(url):
    req = urllib.request.Request(url)
    req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36")
    response = urllib.request.urlopen(req,context=context)
    html = response.read()
    return html

抓取图片连接，这里有点问题，应该是我正则写的不是很好，抓出来不知道为什么始终返回的两端带有双引号，所以后面用循环去掉了两端的引号，也算不够简洁吧。

def get_img(html):
    p = r'src=("http[^"]+?\.[ipg|png]+")'
    html = html.decode("GBK")
    img_list = re.findall(p,html)
    for num,value in enumerate(img_list):
        img_list[num] = value[1:len(value)-1]
    return (img_list)

保存抓取的图片到本地，这次练习的不大，只有122张图片，所以感觉还行，不知道跑大样本数据电脑带不带的动

def save_img(folder,img_list):

    for each in img_list:
        filename = each.split("/")[-1]

        with open(filename,"wb") as f:
            img = open_url(each)
            f.write(img)

创建一个文件夹来保存图片

def document_lol(folder = "lolpic"):
    os.mkdir(folder)
    os.chdir(folder)
    url = "http://lol.52pk.com/hero/"
    img_list = get_img(open_url(url))
    save_img(folder,img_list)



if __name__ == "__main__":
    context = ssl._create_unverified_context()
    document_lol()

最后贴一张爬完的结果

image.png

OK，不是很好的开头，接下来可以试着多做几个简单的练习之后再去爬一些网站抓取有用的数据来分析，（爬一下拉钩网上招聘信息，链家的房租信息等）不过可能反爬机制那部分又要折腾很久。不得不说，当你每次高高兴兴以为自己code没问题的时候去运行，结果莫名其妙跑出一些BUG真的很气人啊，有时候气的想砸桌子。。。

image.png