1.动机
对于知乎的一些高知大V，他们的回答总是那么具有说服力，通过阅读他们的回答，了解他们对热点事件的分析方式，通过现象看本质，一不至于被带节奏，二增加自己的知识面。多读多看，大有裨益。那如果在网络信号不太好或不舍得太多流量的情况下（穷），能够翻看他们的回答就太好了。
本篇介绍一下如何把”恶喵的奶爸“知乎回答页全部下载下来并保存为一个PDF。
1.1.分析
实现方式一，获取全部HTML源代码，将多个HTML文件合成一个HTML文件，将最后合成的这个文件保存为PDF。
实现方式二，将单个HTML文件保存为PDF，再将多个PDF合成一个。
经分析，后者更容易实现。
在正式爬之前，多做一些本地的测试，在本地能够行得通，再去骚扰目标网站。这样做的目的，一是不让网站运营者恶心；二是节约自己的时间和精力，因为大型网站大多有自己的反爬措施，频繁骚扰两三次，ip就被封了，那还要考虑换ip等一系列问题。
2.将本地HTML保存为PDF文件
先用selenium访问以下目标网站，将源代码保存到本地HTML，然后用本地的HTML做测试。
# -*- coding: utf-8 -*-
# @AuThor : frank_lee
import pdfkit
htmlfile = open("zhihu_answer.html", 'r', encoding='utf-8')
confg = pdfkit.configuration(wkhtmltopdf=r'D:\htmlpdf\wkhtmltopdf\bin\wkhtmltopdf.exe')
pdfkit.from_url(htmlfile, 'zhihu.pdf', configuration=confg)
2.1.上面代码能够正常执行的先决条件--安装wkhtmltopdf、pdfkit
2.1.1.先安装wkhtmltopdf，这个工具的下载网站是：https://wkhtmltopdf.org/downloads.html
根据自己的操作系统下载对应的版本即可。安装完成后可以将其加入到环境变量中，也可以不加入，但每次使用时需要调用wkhtmltopdf.exe的绝对路径。
2.2.2.安装pdfkit模块
pip install pdfkit
3.将一个本地HTML文件保存为多个PDF文件
import pdfkit
import time
i = 0
while i < 4:
# pdfname = "zhihu{}".format(i)+".pdf"
htmlfile = open("zhihu_answer.html", 'r', encoding='utf-8')
confg = pdfkit.configuration(wkhtmltopdf=r'D:\htmlpdf\wkhtmltopdf\bin\wkhtmltopdf.exe')
pdfkit.from_url(htmlfile, "zhihu{}".format(i)+".pdf", configuration=confg)
i += 1
time.sleep(10)
while循环和for循环都可以实现，但是如果这样写，只会保存为一个完整的PDF文件，剩下的都是空白PDF：
# -*- coding: utf-8 -*-
# @AuThor : frank_lee
import pdfkit
import time
htmlfile = open("zhihu_answer.html", 'r', encoding='utf-8')
confg = pdfkit.configuration(wkhtmltopdf=r'D:\htmlpdf\wkhtmltopdf\bin\wkhtmltopdf.exe')
i = 0
while i < 4:
# pdfname = "zhihu{}".format(i)+".pdf"
pdfkit.from_url(htmlfile, "zhihu{}".format(i)+".pdf", configuration=confg)
i += 1
time.sleep(10)
所以要注意代码的执行顺序。
4.将多个PDF文件合成一个PDF文件
# -*- coding: utf-8 -*-
# @AuThor : frank_lee
import os, PyPDF2
# 找出所有的pdf文件,并将文件名保存至列表。
filelist = []
for filename in os.listdir('./dir-with-pdfs'):
if filename.endswith('.pdf'):
filelist.append(filename)
# 创建一个新的pdf
newPdfFile = PyPDF2.PdfFileWriter()
# 循环打开每一个pdf文件，将内容添加至新的pdf
for filename in filelist:
pdfFile = open('./dir-with-pdfs/' + filename, 'rb')
pdfObj = PyPDF2.PdfFileReader(pdfFile)
# 获取页数
pageNum = pdfObj.numPages
for num in range(0, pageNum):
pageContent = pdfObj.getPage(num)
newPdfFile.addPage(pageContent)
newFile = open('zhihu_emiao.pdf', 'wb')
newPdfFile.write(newFile)
newFile.close()
5.动真格的
在上一篇的基础上，添加登录功能，因为知乎有些有些大V的回答页面不登录就能访问，有些则不行。
5.1.模拟登录
如果能够避开验证码实现登录，岂不是很轻松，哎，想一下还蛮激动，试一下使用selenium结合浏览器开发者模式还真可以，关键代码如下：
options = webdriver.ChromeOptions()
options.add_experimental_option(
'excludeSwitches', ['enable-automation'])
self.browser = webdriver.Chrome(options=options)
在该模式下，可以完美避开验证码，直接输入用户名和密码就能实现登录。如果用户名和密码还要手动输入就太low了。此时，selenium可能会说，兄弟，显示等待了解一下。这里的代码带有“self”，因为完整代码是包含一个zhihu_infos类。如果直接定义一个函数，或者随心所欲，不定义函数，想到哪儿是哪儿，可以将其删掉。下面的代码用到了显示等待，显示等待是针对于某个特定的元素设置的等待时间，如果在规定的时间范围内，没有找到元素，则会抛出异常，如果在规定的时间内找到了元素，则直接执行，即找到元素就执行相关操作。WebDriverWait(driver, 3).until(EC.presence_of_element_located((By.XX, 'XX')))
既然有until，自然也有until_not
WebDriverWait()一般由until()或 until_not()方法配合使用
until(method, message=' ')：调用该方法提供的驱动程序作为一个参数，直到返回值为True
until_not(method, message=' ')：调用该方法提供的驱动程序作为一个参数，直到返回值为False
# 等待 登录选项 出现，并点击
password_login = self.wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, '.SignContainer-switch > span:nth-child(1)')))
password_login.click()
time.sleep(3)
# 等待 账号 出现
zhihu_user = self.wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR, '.SignFlow-accountInput > input:nth-child(1)')))
zhihu_user.send_keys(zhihu_username)
# 等待 密码 出现
zhihu_pwd = self.wait.until(
EC.presence_of_element_located(
(By.CSS_SELECTOR,
'.SignFlow-password > div:nth-child(1) > div:nth-child(1) > input:nth-child(1)')))
zhihu_pwd.send_keys(zhihu_password)
# 等待 登录按钮 出现
submit = self.wait.until(
EC.presence_of_element_located(
(By.CSS_SELECTOR, 'button.Button:nth-child(5)')))
submit.click()
time.sleep(10)
5.2.实现点击
和上篇一样，不点击，是无法查看完整回答的，不同点是这个回答页面共有20个回答，上篇是10个。
实现点击并返回网页源代码：
def get_pagesource(self, url):
self.browser.get(url=url)
self.browser.maximize_window()
time.sleep(5)
# 执行点击动作
for j in range(1, 21):
content_click = '#Profile-answers > div:nth-child(2) > div:nth-child(' + str(
j) + ') > div > div.RichContent.is-collapsed > div.RichContent-inner'
try:
complete_content = self.wait.until(
EC.presence_of_element_located(
(By.CSS_SELECTOR, content_click)))
complete_content.click()
time.sleep(1)
except BaseException:
pass
pagedata = self.browser.page_source
return pagedata
5.3.将网页源代码以.html的格式保存到本地
def save_to_html(self, base_file_name, pagedata):
filename = base_file_name + ".html"
with open(self.html_path + filename, "wb") as f:
f.write(pagedata.encode("utf-8", "ignore"))
f.close()
return filename
5.4.将已保存的HTML保存为PDF格式
def html_to_pdf(self, base_file_name, htmlname):
pdfname = base_file_name + ".pdf"
htmlfile = open(self.html_path+htmlname, 'r', encoding='utf-8')
confg = pdfkit.configuration(
wkhtmltopdf=r'D:\htmlpdf\wkhtmltopdf\bin\wkhtmltopdf.exe')
pdfkit.from_url(htmlfile, self.pdf_path + pdfname, configuration=confg)
5.5.将多个PDF文件保存为一个
def Many_to_one(self):
# 找出所有的pdf文件,并将文件名保存至列表。
filelist = []
for filename in os.listdir('./pdf_file'):
if filename.endswith('.pdf'):
filelist.append(filename)
# 创建一个新的pdf
newPdfFile = PyPDF2.PdfFileWriter()
# 循环打开每一个pdf文件，将内容添加至新的pdf
for filename in filelist:
pdfFile = open('./pdf_file/' + filename, 'rb')
pdfObj = PyPDF2.PdfFileReader(pdfFile)
# 获取页数
pageNum = pdfObj.numPages
for num in range(1, pageNum):
pageContent = pdfObj.getPage(num)
newPdfFile.addPage(pageContent)
newFile = open(self.pdf_path+'恶喵的奶爸.pdf', 'wb')
newPdfFile.write(newFile)
newFile.close()
6.完整代码
完整代码实现了将多页回答HTML格式保存为一个文件夹，PDF格式的保存到另外一个文件夹，最后将多个PDF文件合成一个PDF文件。由于代码行数较多，贴在这里不太美观，如有需要请查看github
网友评论