背景：最近在看各种金融相关的文档，觉得还是课件ppt上讲的逻辑清晰，好理解一些，但是各个网站下载很贵，总是在线看又怕找不着了，看着这些ppt就流口水，这就想办法简单的爬下来。

实验目标下载百度文库ppt

问题：

1、https连接请求

2、页面存在未完全展开情况，即【继续阅读】需要点击

3、存在浏览器js渲染，ppt的图片连接渲染后能得到真实的

成果

下载目标：

转换结果

思想：

1、使用selenium调用谷歌浏览器，实现渲染

2、模拟点击和敲击回车事件，实现各个页面渲染

3、保存渲染后的ppt图片

4、借助pptx实现ppt操作，即ppt插入图片等操作

一、准备

下载谷歌驱动：

准备必要的第三方模块：pptx，selenium

二、初始化谷歌浏览器驱动

def init_driver():

"""

初始化驱动

可以增加请求头，模拟手机端登陆，获取到文库文字信息

:return:

"""

options = webdriver.ChromeOptions()

driver = webdriver.Chrome(BROWSER_PATH, chrome_options=options)

# options.add_argument(

# 'user-agent="Mozilla/5.0 (Linux; Android 4.0.4; \ Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) \ Chrome/18.0.1025.133 Mobile Safari/535.19"')

# driver = webdriver.Chrome(chrome_options=options)

return driver

三、模拟点击和回车事件

点开继续阅读事件通过下面代码实现

init_page = driver.find_element_by_xpath("//span[@class='read-all']")

driver.execute_script('arguments[0].scrollIntoView();', init_page)

init_page.click()

遍历所有页面，并模拟回测通过下面代码实现

input_page = driver.find_element_by_xpath("//input[@class='cur-page']")

input_page.clear()

input_page.send_keys(index + 1)

input_page.send_keys(Keys.RETURN)

四、ppt制作

def create_ppt(name):

"""

生成ppt

:param name:

:return:

"""

prs = Presentation()

files = os.listdir("BaiduNetdiskDownload\\")

if files:

files.sort(key=lambda x: int(x[:-4]))

for k in files:

ppt = prs.slide_layouts[6]

# 添加到ppt中

ppts = prs.slides.add_slide(ppt)

# 空白ppt添加下载的图片

left, top, width, height = Inches(0), Inches(0), Inches(10), Inches(7.5)

ppts.shapes.add_picture("BaiduNetdiskDownload\\" + k, left, top, width, height)

prs.save(name)

文件保存要重新排序，否则按字母排序会乱。

五、所有代码

# @Time : 2020/9/1

# @Author : 大太阳小白

# @Software: PyCharm

# @blog：https://blog.csdn.net/weixin_41579863

from pptx import Presentation

from pptx.util import Inches

import requests

from selenium import webdriver

from selenium.webdriver.common.keys import Keys

import time

import os

# 谷歌浏览器驱动，我放到了工程目录下

BROWSER_PATH = 'chromedriver.exe'

def init_driver():

"""

初始化驱动

可以增加请求头，模拟手机端登陆，获取到文库文字信息

:return:

"""

options = webdriver.ChromeOptions()

driver = webdriver.Chrome(BROWSER_PATH, chrome_options=options)

# options.add_argument(

# 'user-agent="Mozilla/5.0 (Linux; Android 4.0.4; \ Galaxy Nexus Build/IMM76B) AppleWebKit/535.19 (KHTML, like Gecko) \ Chrome/18.0.1025.133 Mobile Safari/535.19"')

# driver = webdriver.Chrome(chrome_options=options)

return driver

def parser(driver, url):

"""

浏览器解析完成渲染，并下载图片

:param driver:

:param url:

:return:

"""

driver.get(url)

# 点击继续阅读，展开所有页面

init_page = driver.find_element_by_xpath("//span[@class='read-all']")

driver.execute_script('arguments[0].scrollIntoView();', init_page)

init_page.click()

# 匹配所有ppt下的图片

divs = driver.find_elements_by_xpath('//div[contains(@id,"pageNo")]//img')

index = 0

# 分页渲染，获得真实图片路径

while index < len(divs):

name = '{}.png'.format(index)

# input输入值，并模拟回车

input_page = driver.find_element_by_xpath("//input[@class='cur-page']")

input_page.clear()

input_page.send_keys(index + 1)

input_page.send_keys(Keys.RETURN)

time.sleep(1)

divs = driver.find_elements_by_xpath('//div[contains(@id,"pageNo")]//img')

with open("BaiduNetdiskDownload\\" + name, "wb") as file:

try:

src = divs[index].get_attribute('src')

src = str(src).replace('https', 'http')

file.write(requests.get(src).content)

file.flush()

index += 1

except Exception as e:

# 可能会出错，歇一会继续

print('出现异常了', index, e)

time.sleep(2)

def create_ppt(name):

"""

生成ppt

:param name:

:return:

"""

prs = Presentation()

files = os.listdir("BaiduNetdiskDownload\\")

if files:

files.sort(key=lambda x: int(x[:-4]))

for k in files:

ppt = prs.slide_layouts[6]

# 添加到ppt中

ppts = prs.slides.add_slide(ppt)

# 空白ppt添加下载的图片

left, top, width, height = Inches(0), Inches(0), Inches(10), Inches(7.5)

ppts.shapes.add_picture("BaiduNetdiskDownload\\" + k, left, top, width, height)

prs.save(name)

if __name__ == '__main__':

DEST_URL = 'https://wenku.baidu.com/view/34cf62f74b649b6648d7c1c708a1284ac8500523.html'

google_driver = init_driver()

parser(google_driver, DEST_URL)

create_ppt("期权.ppt")

原文链接:https://blog.csdn.net/weixin_41579863/article/details/108355253