Python爬取某平台付费文档，确定不来薅羊毛吗？

导语：

哈喽，哈喽~当代大学生写作业时，emmmm…先看一眼，ok有点印象。

想翻书时，这是第几页？怎么这么干净，是这里吗…

这时“学小易”就很友好了，但是唯一不足的一点是，只有答案，没有过程。

浏览器也很友好，浏览到关键地方要钱，更别说想下载下来复习了…

今天呢，小编教大家用python如何免费下载付费文档资料，我再也不用担心下载资料要钱啦！也不用担心期末复习啦！

正文：

基本开发环境

Python 3.6

Pycharm

相关模块的使用

import osimport requestsimport time import reimport json from docximport Document from docx.sharedimport Cm

目标网页分析

网站的文档内容，都是以图片形式存在的。它有自己的数据接口

接口链接：

https://openapi.book118.com/getPreview.html?&project_id=1&aid=272112230&t=f2c66902d6b63726d8e08b557fef90fb&view_token=SqX7ktrZ_ZakjDI@vcohcCwbn_PLb3C1&page=1&callback=jQuery18304186406662159248_1614492889385&_=1614492889486

接口的请求参数

第一页：

第二页：

第三页：

如上图所示，翻页参数改变的是page 每次加6。

整体思路请求网页返回response数据（字符串）通过re模块匹配提取中间的数据（列表）索引取0（字符串）通过json模块是把提取出来的数据转换成json模块通过遍历获取每张图片的url地址保存图片到本地文件夹

把图片保存到word文档

def download():content = 0for page in range(1, 96, 6):# 给定 2秒延时time.sleep(2)# 获取时间戳now_time = int(time.time() * 1000)url = 'https://openapi.book118.com/getPreview.html'# 请求参数params = {'project_id': '1','aid': '272112230','t': 'f2c66902d6b63726d8e08b557fef90fb','view_token': 'SqX7ktrZ_ZakjDI@vcohcCwbn_PLb3C1','page': f'{page}','_': now_time,}# 请求头headers = {'Host': 'openapi.book118.com','Referer': 'https://max.book118.com/html/2020/0427/8026036013002110.shtm','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}response = requests.get(url=url, params=params, headers=headers)# 使用正则表达式提取内容result = re.findall('jsonpReturn\((.*?)\)', response.text)[0]# 字符串转json数据json_data = json.loads(result)['data']# 字典值的遍历for value in json_data.values():content += 1# 拼接图片urlimg_url = 'http:' + valueprint(img_url)headers_1 = {'Host': 'view-cache.book118.com','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}# 请求图片url地址 获取content二进制数据img_content = requests.get(url=img_url, headers=headers_1).content# 文件名img_name = str(content) + '.jpg'# 保存路径filename = 'img\\'# 以二进制方式保存 （图片、音频、视频等文件都是以二进制的方式保存）with open(filename + img_name, mode='wb') as f:f.write(img_content)

爬虫部分的代码还是比较简单的，没有什么特别的难度。

爬取这些文档，都是需要打印或者查询所以要把这些单张的图片都保存到word文档里面。

写入word文档

1、文件夹中所有图片的文件名。

正常的操作大家都是知道使用os模块就可以获取了，但是这里有一个问题

path = './img/'lis = os.listdir(path)print(lis)>>>['1.jpg', '10.jpg', '11.jpg', '12.jpg', '13.jpg', '14.jpg', '15.jpg', '16.jpg', '17.jpg', '18.jpg', '19.jpg', '2.jpg', '20.jpg', '21.jpg', '22.jpg', '23.jpg', '24.jpg', '3.jpg', '4.jpg', '5.jpg', '6.jpg', '7.jpg', '8.jpg', '9.jpg']

在文件夹中都是有序排列循序的，但是用os模块读取出来的文件名，都是无序的，这样保存的话会导致文档内容循序错乱，这不是我们想要的。

所以需要把文件名都排序输出。

path = './img/'lis = os.listdir(path)c = []for li in lis:index = li.replace('.jpg', '')c.append(index)c_1 = sorted(list(map(int, c)))new_files = [(str(i) + '.jpg') for i in c_1]print(new_files)>>>['1.jpg', '2.jpg', '3.jpg', '4.jpg', '5.jpg', '6.jpg', '7.jpg', '8.jpg', '9.jpg', '10.jpg', '11.jpg', '12.jpg', '13.jpg', '14.jpg', '15.jpg', '16.jpg', '17.jpg', '18.jpg', '19.jpg', '20.jpg', '21.jpg', '22.jpg', '23.jpg', '24.jpg']

排序好之后，通过docx模块对其进行写入。

document.add_picture(img_path, width=Cm(17), height=Cm(24))document.save('tu.doc')  # 保存文档

一定要设置写入图片的大小，不然图片太大，排版不好看。

写完之后把图片都删除掉

os.remove(img_path)

完整实现效果

最后我们下载下来的每一页都是一张图片。

结尾：

文章就写到这里结束啦~大家喜欢的记得点点赞
需要完整的项目源码的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。

Python爬取某平台付费文档，确定不来薅羊毛吗？相关推荐

python爬取百度文库付费文档_亲测免费转换百度文库付费文件
大家现在在查资料时有时需要用到百度文库中的文件,其中很大一部分是需要下载券的,或者需要开通vip才能下载的!而这些都是需要钱买的,但就我在百度或者知乎中查询的很多方法,要不然就是不能用,要不然就是也要 ...
二十一、Python爬取百度文库word文档内容
@Author:Runsen 百度文库在我们需要查找复制一些文档的时候经常用到,下载要收费,开会员,一个字都不给复制,这个时候初学python的小伙伴肯定有个写个百度文库爬虫的想法,这里我给各位分享一 ...
利用python爬取京东平台评论及图片并进行分析
一.背景及目的在淘宝.京东等网络平台上购物,逐渐成为大众化的购物方式.但假冒伪劣产品在这个摸不着实物的购物平台严重危害着消费者的购物体验,即使我们可以通过七天无理由退货退款来维护我们的合法权益,但是 ...
python怎么爬虎牙_手把手教你利用Python爬取虎牙平台数据
首先打开我们所需要爬取的网站,这里我们挑选的是虎牙直播. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多已经做案例的人,却不知道 ...
python爬取酷狗付费音乐_python爬蟲教程：爬取酷狗音樂
在常見的幾個音樂網站里,酷狗可以說是最好爬取的啦,什么彎都沒有,也沒加密啥的,所以最適合小白入門爬蟲本篇針對爬蟲零基礎的小白,所以每一步驟我都截圖並詳細解釋了,其實我自己看着都啰嗦,歸根到底就是兩個 ...
利用lxml爬取豆瓣小组内容文档并保存
# -*- coding: UTF-8 -*- #参考资料:https://segmentfault.com/q/1010000004879947 import requests from lxml ...
python爬取文件归类_python爬取各类文档方法归类汇总
HTML文档是互联网上的主要文档类型,但还存在如TXT.WORD.excel.PDF.csv等多种类型的文档.网络爬虫不仅需要能够抓取HTML中的敏感信息,也需要有抓取其他类型文档的能力.下面简要记录 ...
Python爬取起点小说并写入文档
python爬取起点免费小说按F12查看网页源代码: 发现每一章小说链接在li中,这时可以提取每一章的链接: def get_html(url):r=requests.get(url)html=Be ...
使用python爬取付费音乐
在使用 Python 爬取付费音乐时,有几点需要注意: 侵犯版权是违法行为,因此您需要确保您有权进行爬取. 如果您想爬取付费音乐,可能需要使用一些反爬虫技术来避免被网站封禁.这可能包括使用代理服务器. ...

Python爬取某平台付费文档，确定不来薅羊毛吗？

导语：

正文：

结尾：

Python爬取某平台付费文档，确定不来薅羊毛吗？相关推荐

最新文章

热门文章