前言
因为学校上的大数据课程需要获取数据，所以布置了一个爬虫实验，之前也没怎么接触过爬虫，就在网上找了找视频，这里，推荐慕课网的爬虫视频：Python开发简单爬虫，短小精悍，实用。
开始
要爬取的澎湃新闻网页url为：https://www.thepaper.cn/newsDetail_forward_3564808，按照基本的爬虫来写，就是需要：
image
- 爬虫调度端：启动，停止，监视。
- URL管理器：对将要爬取和已经爬取的URL进行管理，将URL传送给网页下载器。
- 网页下载器会将指定的URL下载下来，存储成字符串，传送给网页解析器。
- 网页解析器解析出有价值的数据。
这里写的比较简单，就只挑选了一条评论数为1k以上的新闻来进行爬取，使用的主要的库为urllib.request（网页下载器）和beautifulsoup（网页解析器）。因为澎湃网新闻评论是下拉浏览器侧边栏自动刷新的，所以使用到了自动化工具，最后要将数据写入到txt文件中，用到了python写入文件的一些知识，所以这次爬虫的主要流程就是：
- 使用自动化工具打开网页
- 不断循环刷新至刷出的评论数大于等于1K
- 下载网页，进行网页解析
- 将解析的数据写入到txt文件
（一开始爬取之后发现一条评论都爬取不到...自闭...打开网页仔细查看之后，发现评论信息是下拉刷新的，就想有没有什么工具可以模拟网页自动下拉刷新，在网上找了找资料，发现selenium是一个自动化工具，配合ChromeDriver就可以控制谷歌浏览器。）
还有一个坑，之前使用beautifulsoup时，不知道可以递归的去调用这个find()和find_all()函数，就在怎么找到子标签这个问题上纠结了半天。这样看来，beautifulsoup还是相当好用的。
再来说说解析数据的问题，解析网页的数据，需要知道网页的内容，只需要在想查看的网页内容右键，审查元素，即可看见网页内容（比如这里查看昵称的网页结构）：
image
image
最后还有一个坑，在写入文件时，最好指定字符集为utf-8，否则会出现乱码的情况。
完整代码如下：
#-*-coding:utf-8-*-
# 解析html的
from bs4 import BeautifulSoup
# 模仿浏览器的
from selenium import webdriver
# 模仿键盘,操作下拉框的
from selenium.webdriver.common.keys import Keys
# 网页解析器BeautifulSoup
from bs4 import BeautifulSoup
import urllib.request
# 正则表达式
import re
# 找到的一则评论大于1k的有关校园暴力的url
# https://www.thepaper.cn/newsDetail_forward_3564808
url = "https://www.thepaper.cn/newsDetail_forward_3564808"
# 打开文件（指定编码，否则会出现乱码的情况）
with open('./my_data','wt',encoding='utf-8') as f:
# 爬取评论节点(评论如果不下拉刷新的话爬取不到，页面是下拉刷新的，需要使用自动化工具)
# 打开浏览器
driver = webdriver.Chrome(executable_path="D:\\chromedriver.exe")
# 打开你的访问地址
driver.get(url)
# 将页面最大化
driver.maximize_window()
# 循环下拉
# js="var q=document.documentElement.scrollTop=10000"为js脚本，页面下拉
js="var q=document.documentElement.scrollTop=250000"
for i in range(10000):
driver.execute_script(js)
driver.implicitly_wait(3)
# 创建beautifulsoup对象
html = BeautifulSoup(driver.page_source)
# 新闻标题：<h1 class="news_title">太原师范学院回应“女生自述遭室友的校园暴力”：正认真核查</h1>
title = html.find('h1',class_="news_title").get_text()
print("标题: {}".format(title), file=f)
# 新闻链接就是url
print("链接: {}".format(url), file=f)
# 获取评论数
comment_num_block = html.find('h2',id="comm_span")
comment = re.search(r'\d+[k]*', comment_num_block.get_text()).group()
print("评论数: {}".format(comment), file=f)
# 获取新闻发表时间
publish_time_block = html.find('div',class_="news_about")
# 匹配日期正则表达式
time = re.search(r'\d{4}-\d{1,2}-\d{1,2}', publish_time_block.get_text()).group()
print("时间: {}".format(time), file=f)
print("", file=f)
# 爬取评论节点
# 评论的节点为<div class="comment_que">
comment_nodes = html.find_all('div', class_="comment_que")
count = 1
# print("开始打印评论:")
for node in comment_nodes:
# 获取昵称
nickname = node.find('div', class_="aqwright").find('h3').find('a').get_text().strip()
print("Nickname:{}".format(nickname), file=f)
# 获取评论主体内容
content = node.find('div', class_="aqwright").find('div', class_="ansright_cont").get_text().strip()
print("Content:{}".format(content), file=f)
count = count + 1
if (count < 1000):
# 在每一条评论间打印空行
print("",file=f)
print(count)
else:
break
网友评论