1.动机

对于知乎的一些高知大V，他们的回答总是那么具有说服力，通过阅读他们的回答，了解他们对热点事件的分析方式，通过现象看本质，一不至于被带节奏，二增加自己的知识面。多读多看，大有裨益。那如果在网络信号不太好或不舍得太多流量的情况下(穷)，能够翻看他们的回答就太好了。

本篇介绍一下如何把”恶喵的奶爸“知乎回答页全部下载下来并保存为一个PDF。

1.1.分析

实现方式一，获取全部HTML源代码，将多个HTML文件合成一个HTML文件，将最后合成的这个文件保存为PDF。

实现方式二，将单个HTML文件保存为PDF，再将多个PDF合成一个。

经分析，后者更容易实现。

在正式爬之前，多做一些本地的测试，在本地能够行得通，再去骚扰目标网站。这样做的目的，一是不让网站运营者恶心；二是节约自己的时间和精力，因为大型网站大多有自己的反爬措施，频繁骚扰两三次，ip就被封了，那还要考虑换ip等一系列问题。

2.将本地HTML保存为PDF文件

先用selenium访问以下目标网站，将源代码保存到本地HTML，然后用本地的HTML做测试。

# -*- coding: utf-8 -*-

# @AuThor : frank_lee

import pdfkit

htmlfile = open("zhihu_answer.html", 'r', encoding='utf-8')

confg = pdfkit.configuration(wkhtmltopdf=r'D:\htmlpdf\wkhtmltopdf\bin\wkhtmltopdf.exe')

pdfkit.from_url(htmlfile, 'zhihu.pdf', configuration=confg)

2.1.上面代码能够正常执行的先决条件--安装wkhtmltopdf、pdfkit

根据自己的操作系统下载对应的版本即可。安装完成后可以将其加入到环境变量中，也可以不加入，但每次使用时需要调用wkhtmltopdf.exe的绝对路径。

2.2.2.安装pdfkit模块

pip install pdfkit

3.将一个本地HTML文件保存为多个PDF文件

import pdfkit

import time

i = 0

while i < 4:

# pdfname = "zhihu{}".format(i)+".pdf"

htmlfile = open("zhihu_answer.html", 'r', encoding='utf-8')

confg = pdfkit.configuration(wkhtmltopdf=r'D:\htmlpdf\wkhtmltopdf\bin\wkhtmltopdf.exe')

pdfkit.from_url(htmlfile, "zhihu{}".format(i)+".pdf", configuration=confg)

i += 1

time.sleep(10)

while循环和for循环都可以实现，但是如果这样写，只会保存为一个完整的PDF文件，剩下的都是空白PDF：

# -*- coding: utf-8 -*-

# @AuThor : frank_lee

import pdfkit

import time

htmlfile = open("zhihu_answer.html", 'r', encoding='utf-8')

confg = pdfkit.configuration(wkhtmltopdf=r'D:\htmlpdf\wkhtmltopdf\bin\wkhtmltopdf.exe')

i = 0

while i < 4:

# pdfname = "zhihu{}".format(i)+".pdf"

pdfkit.from_url(htmlfile, "zhihu{}".format(i)+".pdf", configuration=confg)

i += 1

time.sleep(10)

所以要注意代码的执行顺序。

4.将多个PDF文件合成一个PDF文件

# -*- coding: utf-8 -*-

# @AuThor : frank_lee

import os, PyPDF2

# 找出所有的pdf文件,并将文件名保存至列表。

filelist = []

for filename in os.listdir('./dir-with-pdfs'):

if filename.endswith('.pdf'):

filelist.append(filename)

# 创建一个新的pdf

newPdfFile = PyPDF2.PdfFileWriter()

# 循环打开每一个pdf文件，将内容添加至新的pdf

for filename in filelist:

pdfFile = open('./dir-with-pdfs/' + filename, 'rb')

pdfObj = PyPDF2.PdfFileReader(pdfFile)

# 获取页数

pageNum = pdfObj.numPages

for num in range(0, pageNum):

pageContent = pdfObj.getPage(num)

newPdfFile.addPage(pageContent)

newFile = open('zhihu_emiao.pdf', 'wb')

newPdfFile.write(newFile)

newFile.close()

5.动真格的

在上一篇的基础上，添加登录功能，因为知乎有些有些大V的回答页面不登录就能访问，有些则不行。

5.1.模拟登录

如果能够避开验证码实现登录，岂不是很轻松，哎，想一下还蛮激动，试一下使用selenium结合浏览器开发者模式还真可以，关键代码如下：

options = webdriver.ChromeOptions()

options.add_experimental_option(

'excludeSwitches', ['enable-automation'])

self.browser = webdriver.Chrome(options=options)

在该模式下，可以完美避开验证码，直接输入用户名和密码就能实现登录。如果用户名和密码还要手动输入就太low了。此时，selenium可能会说，兄弟，显示等待了解一下。这里的代码带有“self”，因为完整代码是包含一个zhihu_infos类。如果直接定义一个函数，或者随心所欲，不定义函数，想到哪儿是哪儿，可以将其删掉。下面的代码用到了显示等待，显示等待是针对于某个特定的元素设置的等待时间，如果在规定的时间范围内，没有找到元素，则会抛出异常，如果在规定的时间内找到了元素，则直接执行，即找到元素就执行相关操作。WebDriverWait(driver, 3).until(EC.presence_of_element_located((By.XX, 'XX')))

既然有until，自然也有until_not

WebDriverWait()一般由until()或 until_not()方法配合使用

until(method, message=' ')：调用该方法提供的驱动程序作为一个参数，直到返回值为True

until_not(method, message=' ')：调用该方法提供的驱动程序作为一个参数，直到返回值为False

# 等待 登录选项 出现，并点击

password_login = self.wait.until(EC.presence_of_element_located(

(By.CSS_SELECTOR, '.SignContainer-switch > span:nth-child(1)')))

password_login.click()

time.sleep(3)

# 等待 账号 出现

zhihu_user = self.wait.until(EC.presence_of_element_located(

(By.CSS_SELECTOR, '.SignFlow-accountInput > input:nth-child(1)')))

zhihu_user.send_keys(zhihu_username)

# 等待 密码 出现

zhihu_pwd = self.wait.until(

EC.presence_of_element_located(

(By.CSS_SELECTOR,

'.SignFlow-password > div:nth-child(1) > div:nth-child(1) > input:nth-child(1)')))

zhihu_pwd.send_keys(zhihu_password)

# 等待 登录按钮 出现

submit = self.wait.until(

EC.presence_of_element_located(

(By.CSS_SELECTOR, 'button.Button:nth-child(5)')))

submit.click()

time.sleep(10)

5.2.实现点击

和上篇一样，不点击，是无法查看完整回答的，不同点是这个回答页面共有20个回答，上篇是10个。

实现点击并返回网页源代码：

def get_pagesource(self, url):

self.browser.get(url=url)

self.browser.maximize_window()

time.sleep(5)

# 执行点击动作

for j in range(1, 21):

content_click = '#Profile-answers > div:nth-child(2) > div:nth-child(' + str(

j) + ') > div > div.RichContent.is-collapsed > div.RichContent-inner'

try:

complete_content = self.wait.until(

EC.presence_of_element_located(

(By.CSS_SELECTOR, content_click)))

complete_content.click()

time.sleep(1)

except BaseException:

pass

pagedata = self.browser.page_source

return pagedata

5.3.将网页源代码以.html的格式保存到本地

def save_to_html(self, base_file_name, pagedata):

filename = base_file_name + ".html"

with open(self.html_path + filename, "wb") as f:

f.write(pagedata.encode("utf-8", "ignore"))

f.close()

return filename

5.4.将已保存的HTML保存为PDF格式

def html_to_pdf(self, base_file_name, htmlname):

pdfname = base_file_name + ".pdf"

htmlfile = open(self.html_path+htmlname, 'r', encoding='utf-8')

confg = pdfkit.configuration(

wkhtmltopdf=r'D:\htmlpdf\wkhtmltopdf\bin\wkhtmltopdf.exe')

pdfkit.from_url(htmlfile, self.pdf_path + pdfname, configuration=confg)

5.5.将多个PDF文件保存为一个

def Many_to_one(self):

# 找出所有的pdf文件,并将文件名保存至列表。

filelist = []

for filename in os.listdir('./pdf_file'):

if filename.endswith('.pdf'):

filelist.append(filename)

# 创建一个新的pdf

newPdfFile = PyPDF2.PdfFileWriter()

# 循环打开每一个pdf文件，将内容添加至新的pdf

for filename in filelist:

pdfFile = open('./pdf_file/' + filename, 'rb')

pdfObj = PyPDF2.PdfFileReader(pdfFile)

# 获取页数

pageNum = pdfObj.numPages

for num in range(1, pageNum):

pageContent = pdfObj.getPage(num)

newPdfFile.addPage(pageContent)

newFile = open(self.pdf_path+'恶喵的奶爸.pdf', 'wb')

newPdfFile.write(newFile)

newFile.close()

6.完整代码

完整代码实现了将多页回答HTML格式保存为一个文件夹，PDF格式的保存到另外一个文件夹，最后将多个PDF文件合成一个PDF文件。由于代码行数较多，贴在这里不太美观，如有需要请查看github