Python 爬虫并且将数据写入Excel

听到网站爬虫，很多人都觉得很高大上，爬虫是不是黑客才能干的事啊？今天这里展示了一个简单的爬虫程序，并且对数据进行读取分析，最后写入Excel文件。

难点在于分析HTML代码上，最起码您得看得懂HTML代码。

requests库

requests库功能很强大，这里我们需要用到它都只是我们给它一个网址，然后让它将html代码获取下来：

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Mobile Safari/537.36'}
r = requests.get('http://www.baidu.com', headers=headers)
print(r.text)

有些网站含有防爬虫机制，如果不设置UserAgent就无法获取准确的网站内容。那么该如何取得User-Agent到值：

如果你使用到送chrome浏览器，那么按F12，然后再刷新页面，在Network页面中选择all，再在左侧到www.baidu.com中找到Headers中找出User-Agent复制即可，其它网页也是类似操作。

image-20200213153036379.png

运行之后将会得到baidu.com首页都全部代码：（代码太长，此处省略）

提取HTML数据：Beautiful Soup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

好，现在查阅了Beautiful Soup官网都基本说明，我们可以来完成一个最简单都爬虫代码，获取到百度的title值：

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Mobile Safari/537.36'}
r = requests.get('http://www.baidu.com', headers=headers)
soup = BeautifulSoup(r.text, 'html.parser')
pagetitle = soup.find("title")
print(pagetitle.get_text())

运行以后得到：

百度一下

进程已结束，退出代码 0

其实还是相当简单的对吧，下面我们再把难度提高一点点，去获取一个复杂点都网站，并且把它写入Excel文件里面。

爬虫实行僧网站

下面到例子是爬取实习僧网站，是一个实习生的招聘网站。

我们想爬取到是从page=1-page=4之间的所有页面，即是从：

https://www.shixiseng.com/interns?page=1&keyword=python

到

https://www.shixiseng.com/interns?page=4&keyword=python

之间的所有网页：

那么按照上面的代码，我们可以写出以下的代码：

import requests

htmls = []
headers = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Mobile Safari/537.36'}
for page in range(1, 5):
    url = f'https://www.shixiseng.com/interns?page={page}&keyword=python'
    r = requests.get(url, headers=headers)
    htmls.append(r.text)
    print('正在读取的页面：' + url)

D:\python_pycharm\pro\venv\Scripts\python.exe D:/python_pycharm/pro/pachong2.py
正在读取的页面：https://www.shixiseng.com/interns?page=1&keyword=python
正在读取的页面：https://www.shixiseng.com/interns?page=2&keyword=python
正在读取的页面：https://www.shixiseng.com/interns?page=3&keyword=python
正在读取的页面：https://www.shixiseng.com/interns?page=4&keyword=python

进程已结束，退出代码 0

看着屏幕逐渐跳出正在读取的页面的URL,其实是很有感觉的~~

接着，我们对页面到HTML代码进行分析：

image-20200214164309764.png

根据图片我们可以看出，左侧到列表是在<div class="intern-wrap intern-item" 里面，那么首先我们需要获取到这个类别里面的代码就可以，做一个循环，将所有的列表先找出来。可以用下面的代码来

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/82.0.4051.0 Safari/537.36 Edg/82.0.425.0'}
for page in range(1, 2):
    url = f'https://www.shixiseng.com/interns?page={page}&keyword=python&city=%E5%85%A8%E5%9B%BD&internExtend='
    r = requests.get(url)
    soup = BeautifulSoup(r.text, 'lxml')
    offers = soup.select('.intern-wrap.intern-item')
    htmls = []
    for offer in offers:

但我们主要不是找列表的所有数据，我们根据需求获取其中一部分的数据即可。假设我们需要提取的是职位名称，就是上图的 开发部-Python实习生（此处有反爬虫机制，数字和字母都使用了一种特殊的字体进行简单的加密，如果需要正确读取需要进行解密，等以后再写一篇文章说明）和详细页面的链接即可。

循环获取到列表数据以后，我们再获取所需要的数据，分析代码我们看到，标题和链接的html代码是：

<div class="f-l intern-detail__job" data-v-6dc0c1eb=""><p data-v-6dc0c1eb=""><a href="https://www.shixiseng.com/intern/inn_rgbpqean65ke" title="深度学习培训导&amp;#xf34e实习&amp;#xe1ba" target="_blank" class="title ellipsis font" data-v-6dc0c1eb="">深度学习培训导实习</a> <!----> <span class="day font" data-v-6dc0c1eb="">-/天</span></p> <p class="tip" data-v-6dc0c1eb=""><span class="city ellipsis" data-v-6dc0c1eb="">上海</span> <span data-v-6dc0c1eb="">|</span> <span class="font" data-v-6dc0c1eb="">天/周</span> <span data-v-6dc0c1eb="">|</span> <span class="font" data-v-6dc0c1eb="">个月</span></p></div>

我们要如何查询这一段代码的需要内容呢，首先要得到链接，就要让指针指向div - class='intern-detail__job'里面，再查找a标签里面的href即可得到url，利用get_text()就可以得到名称（本例中的title也是可以的）

htmls = []
for offer in offers:
    urls = offer.find('div', class_="intern-detail__job").find("p").find("a")
    name = urls.get_text()
    link = urls["href"]
    htmls.append(
        {'name': name, 'url': link})

现在我们先不着急着把数据写入Excel，先把数据写入字典htmls=[]里面，再打印出来。如果查找不对，那么将打印出一个空的字典出来，完整代码如下：

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/82.0.4051.0 Safari/537.36 Edg/82.0.425.0'}
for page in range(1, 2):
    url = f'https://www.shixiseng.com/interns?page={page}&keyword=python&city=%E5%85%A8%E5%9B%BD&internExtend='
    r = requests.get(url)
    soup = BeautifulSoup(r.text, 'lxml')
    offers = soup.select('.intern-wrap.intern-item')
    htmls = []
    for offer in offers:
        urls = offer.find('div', class_="intern-detail__job").find("p").find("a")
        name = urls.get_text()
        link = urls["href"]
        htmls.append(
            {'name': name, 'url': link})
    print('正在读取的页面：' + url)
    print(htmls)

程序输出：

正在读取的页面：https://www.shixiseng.com/interns?page=1&keyword=python&city=%E5%85%A8%E5%9B%BD&internExtend=
[{'name': '数据科学实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_j34ozcntlsab'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5运维实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_i3dkjet1hnbn'}, {'name': '售\uf8bd实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_ghmrjov3g75r'}, {'name': '【\uedbf\uf2ae\uedbf\uf2ae校\ue5e8】后台 开发\uf31e\ueeea\uf34e', 'url': 'https://www.shixiseng.com/intern/inn_ibdhjujc1r7j'}, {'name': '【\uedbf\uf2ae\uedbf\uf2ae校\ue5e8】爬虫\uf31e\ueeea\uf34e', 'url': 'https://www.shixiseng.com/intern/inn_rcsmiygwdwzp'}, {'name': '服务\ued26开发实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_ok5wfm0zjaru'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5开发实习\ue1ba-\uf3c6\ue147团队', 'url': 'https://www.shixiseng.com/intern/inn_zo0olj4az7xo'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5开发\uf31e\ueeea\uf34e', 'url': 'https://www.shixiseng.com/intern/inn_otbcbdcmlfrv'}, {'name': ' 编\ueeea讲\uf34e--\uedbf\uf2ae届校\ue5e8', 'url': 'https://www.shixiseng.com/intern/inn_eogiclckforz'}, {'name': '后\ued26开发实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_njckxepejl1q'}, {'name': '深度学习培训导\uf34e实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_rgbpqean65ke'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_bfom7ajdvvsz'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5实习', 'url': 'https://www.shixiseng.com/intern/inn_kabgjlwc9tmc'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5助教实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_eewbvqvs3no1'}, {'name': '数据分析实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_ckb0bj41ti5t'}, {'name': '金融\uf31e\ueeea实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_seknmdkmqfp6'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5爬虫\uf31e\ueeea\uf34e', 'url': 'https://www.shixiseng.com/intern/inn_gybdr3swa1nz'}, {'name': '数据清洗\uf31e\ueeea\uf34e', 'url': 'https://www.shixiseng.com/intern/inn_110d5rowipjl'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5 后\ued26开发实习\ue1ba', 'url': 'https://www.shixiseng.com/intern/inn_m97hnb9uidsy'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5助教', 'url': 'https://www.shixiseng.com/intern/inn_4pbllbmzn0kx'}, {'name': '\ue62b\uf1dd\uf040\ue43a\uede0\uf6c5开发实习', 'url': 'https://www.shixiseng.com/intern/inn_xp0f1iwabrzv'}]

字典有数据，并且符合我们的要求，写入成功。

将数据写入Excel

写入Excel也很简单，今天我们来安装一个新的Excel库：openpyxl。

然后在代码的文件夹中新建一个Excel文件，取名为list1.xlsx，那么要写入这个文件的代码是：

from openpyxl import load_workbook

workbook = load_workbook(filename='list1.xlsx')
sheet = workbook.active

那么插入数据的方法有很多，下面我们看最简单的方法，在循环的内部插入代码：

import requests
from bs4 import BeautifulSoup
from openpyxl import load_workbook

workbook = load_workbook(filename='list1.xlsx')
sheet = workbook.active
I = 0
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/82.0.4051.0 Safari/537.36 Edg/82.0.425.0'}
for page in range(1, 5):
    url = f'https://www.shixiseng.com/interns?page={page}&keyword=python&city=%E5%85%A8%E5%9B%BD&internExtend='
    r = requests.get(url)
    soup = BeautifulSoup(r.text, 'lxml')
    offers = soup.select('.intern-wrap.intern-item')
    for offer in offers:
        I += 1
        urls = offer.find('div', class_="intern-detail__job").find("p").find("a")
        name = urls.get_text()
        link = urls["href"]
        str1 = 'A' + str(I)
        str2 = 'B' + str(I)
        sheet[str1].value = name
        sheet[str2].value = link
    print('正在读取的页面：' + url)
workbook.save(filename='list1.xlsx')

打开list1.xlsx文件，写入成功：

image-20200218150924500.png

可以看到，name的输出有一些打不出来，因为该网站对字母和数字和一些常用汉字做了反爬虫加密，例如A4A5,原标题是：【2020校招】。只要将加密的字符提取出来，并且做个查询就可以反向得到正确的字符，这方面的知识等以后有时间再写写。这里只是写出爬虫、并且将爬虫数据写入Excel文件的一个简单思路。对自己来说是个备忘作用，如果刚好对您有所帮助，那就再好不过了。

requests库功能很强大，下一步我希望能做出自动登录-登录以后自动完成一些工作，这才是我需要的功能！