python百度文库免费_Python在线百度文库爬虫(免下载券)
百度文库,文字类型的资源(如txt, doc, pdf),是可以在前端源码分析获取到的,如果能按照规则合理的提取这些文字资源,就可以实现免下载券获取资源.
作者完成了百度文库的在线版爬虫,只需提供文库资源页面的url,就可以获取对应的文库资源(免下载券)
在线测试地址:
http://zhaozhaoli.vicp.io/spider/bdwk
效果展示
初始界面.png
摄影课感想_百度文库_and_方圆小站.png
获取资源.png
展示文本.png
关于ppt的爬取,作者也写出来了,但是我的个人服务器带宽太小,导致前端等待时间过长,就把它注释了...有兴趣的可以看以前写过的这篇文章百度文库下载器,文章底部提供了编译好的可执行文件(支持ppt,txt,pdf,word格式的下载),可以下载到本地玩一玩...
核心源码:
import os
import re
import json
import requests
from lxml import etree
import sys
from fangyuanxiaozhan.settings import BASE_DIR
# import tkinter
# 创建文库基类
class BaiduWK(object):
def __init__(self, url):
self.title = None
self.url = url
self.docType = None
self.headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36'}
self.get_response_content(self.url)
self.get_doc_type_and_title()
def get_response_content(self, url):
try:
response = requests.get(url, headers=self.headers)
return response.content
except Exception as e:
print(e)
pass
def get_doc_type_and_title(self):
# 获取源码
source_html = self.get_response_content(self.url)
# 解析源码
content = source_html.decode('gbk')
# 获取文档类型
self.docType = re.findall(r"docType.*?\:.*?\'(.*?)\'\,", content)[0]
# 获取文档标题
self.title = re.findall(r"title.*?\:.*?\'(.*?)\'\,", content)[0]
# 创建获取txt的类
class BDWKTXT(BaiduWK):
def __init__(self, url):
super().__init__(url)
self.docId = None
pass
def get_txt(self, url):
# 获取源码
source_html = self.get_response_content(url)
content = source_html.decode("gbk")
# 获取docId
self.docId = re.findall(r"docId.*?(\w{24}?)\'\,", content)[0]
# 拼接请求url
token_url = "https://wenku.baidu.com/api/doc/getdocinfo?callback=cb&doc_id=" + self.docId
# 再次请求
first_json = self.get_response_content(token_url).decode()
str_first_json = re.match(r'.*?\((\{.*?\})\).*', first_json).group(1)
# print(str_first_json)
the_first_json = json.loads(str_first_json)
md5sum = the_first_json["md5sum"]
rn = the_first_json["docInfo"]["totalPageNum"]
rsign = the_first_json["rsign"]
# print(md5sum,"-->",rn)
# 请求目标url
target_url = "https://wkretype.bdimg.com/retype/text/" + self.docId + "?" + md5sum + "&callback=cb" + "&pn=1&rn=" + rn + "&type=txt" + "&rsign=" + rsign
# https://wkretype.bdimg.com/retype/text/de53bafaf705cc1755270982?md5sum=b89f055e765e6f73db57525bcfc3c2d2&sign=7b385f9cf7&callback=cb&pn=1&rn=12&type=txt
sec_json = self.get_response_content(target_url).decode()
# print(type(sec_json),"-->")
str_sec_json = re.match(r'.*?\(\[(.*)\]\)$', sec_json).group(1)
str_sec_json += ","
str_json_list = str_sec_json.split('},')
result_txt = ""
# 截取尾部空格
str_json_list = str_json_list[:-1]
for str_json in str_json_list:
str_json += "}"
pure_dic = json.loads(str_json)
pure_txt = pure_dic["parags"][0]["c"].strip()
result_txt += pure_txt
# 创建文件目录
try:
# path = "." + os.sep + self.docType
path = BASE_DIR + "/static/spider_file/bdwk" + os.sep + self.docType
print(type(path),"path-->",path)
os.makedirs(path)
except Exception as e:
# print("文件夹%s已存在"%(path))
pass
# 创建文件,保存信息
try:
print(os.path)
file_name = BASE_DIR+"/static/spider_file/bdwk" + os.sep + self.docType + os.sep + self.title + ".txt"
with open(file_name, 'w', encoding='utf-8') as f:
f.write(result_txt)
print("已经保存为:", self.title + '.txt')
except Exception as e:
# print(e)
pass
# 创建获取word的类
class BDWKDOC(BaiduWK):
def __init__(self, url):
super().__init__(url)
# 保存数据来源url
self.pure_addr_list = list()
# 获取数据来源url
def get_pure_addr_list(self):
# 获取页面源码
source_html = self.get_response_content(self.url).decode('gbk')
# 从源码中批量提取数据url
all_addr = re.findall(r'wkbos\.bdimg\.com.*?json.*?expire.*?\}', source_html)
pure_addr_list = list()
# 获取文档标题
self.title = etree.HTML(source_html).xpath("//title/text()")[0].strip()
# 净化数据来源url列表
for addr in all_addr:
addr = "https://" + addr.replace("\\\\\\/", "/")
addr = addr[:-5]
pure_addr_list.append(addr)
# 将处理好的url列表保存为全局属性
self.pure_addr_list = pure_addr_list
return pure_addr_list
# 从数据来源的url列表中提取数据
def get_json_content(self, url_list):
content = ''
result = ''
sum = len(url_list)
i = 1
for pure_addr in url_list:
print("正在下载第%d条数据, 剩余%d条" % (i, sum - i))
i += 1
try:
# 获取json数据
content = self.get_response_content(pure_addr).decode()
# 处理json数据
content = re.match(r'.*?\((.*)\)$', content).group(1)
# 将json数据中需要的内容提取出来
all_body_info = json.loads(content)["body"]
# 遍历获取所有信息,并将信息拼接到一起
for body_info in all_body_info:
try:
result = result + body_info["c"].strip()
# print(">>",result)
except Exception as e:
print(e)
pass
except Exception as e:
print(e)
pass
# 创建文件目录
try:
path = BASE_DIR+"/static/spider_file/bdwk" + os.sep + self.docType
# print(type(path),"path-->",path)
os.makedirs(path)
except Exception as e:
# print("文件夹%s已存在"%(path))
pass
# 创建文件,保存信息
try:
file_name = BASE_DIR+"/static/spider_file/bdwk" + os.sep + self.docType + os.sep + self.title + ".txt"
with open(file_name, 'w', encoding='utf-8') as f:
f.write(result)
print("已经保存为:", self.title + '.txt')
except Exception as e:
print(e)
# 创建获取ppt的类
class BDWKPPT(BaiduWK):
def __init__(self, url):
self.all_img_url = list()
super().__init__(url)
# 获取json数据保存文件
def get_ppt_json_info(self):
# 获取源文件
ppt_source_html = self.get_response_content(self.url)
# 解析源文件
content = ppt_source_html.decode('gbk')
# 测试
with open("test.html", "w") as f:
f.write(content)
# 获取文档Id
self.docId = re.findall(r"docId.*?(\w{24}?)\'\,", content)[0]
# 拼接请求json的接口
source_json_url = 'https://wenku.baidu.com/browse/getbcsurl?doc_id=%s&type=ppt&callback=zhaozhao' % self.docId
# 获取字符串类型的json数据
str_source_json = self.get_response_content(source_json_url).decode()
# 处理字符串类型的json数据,使其成为标准格式
pure_str_source_json = re.match(r'.*?\((.*?)\)', str_source_json).group(1)
# 将字符串json转为可处理的正式json
source_json = json.loads(pure_str_source_json)
# 遍历字典中的数据类型list
for j in source_json['list']:
# 创建临时列表
temp_num_url = list()
# 将url和page拼接到列表中
temp_num_url.append(j["zoom"])
temp_num_url.append(j["page"])
# 将列表信息添加到全局变量中
self.all_img_url.append(temp_num_url)
# 建立文件夹
try:
os.makedirs(BASE_DIR+"/static/spider_file/bdwk/ppt/%s" % (self.title))
except Exception as e:
pass
for img_url in self.all_img_url:
print(BASE_DIR+"正在获取第%d页资源(剩余%d页)" % (img_url[1], len(self.all_img_url) - img_url[1]))
data = self.get_response_content(img_url[0])
path = BASE_DIR+"/static/spider_file/bdwk/ppt/%s/%s" % (self.title, str(img_url[1]) + '.jpg')
with open(path, 'wb') as f:
f.write(data)
print("写入完毕")
# 运行主程序
def main(url):
try:
# url = input("请输入资源所在的网址:")
docType = BaiduWK(url).docType
except:
print("您输入的url,有误请重新输入!")
os.exit()
print("类型为", "-->", docType)
if docType == "ppt2":
ppt = BDWKPPT(url)
print("您将要获取的演示文稿(ppt)名称为:", ppt.title)
ppt.get_ppt_json_info()
data = dict()
src = "/static/spider_file/bdwk/ppt/%s/" % (ppt.title)
title_name = ppt.title
data["src"] = src
data["title_name"] = title_name
return data
elif docType == "doc":
word = BDWKDOC(url)
print("您将要获取的文档(word)名称为", word.title)
pure_addr_list = word.get_pure_addr_list()
word.get_json_content(pure_addr_list)
data = dict()
src = "/static/spider_file/bdwk/doc/%s.txt" % (word.title)
title_name = word.title
data["src"] = src
data["title_name"] = title_name+".txt"
return data
elif docType == "pdf":
pdf = BDWKDOC(url)
print("您将要获取的PDF名称为:", pdf.title)
pure_addr_list = pdf.get_pure_addr_list()
pdf.get_json_content(pure_addr_list)
data = dict()
src = "/static/spider_file/bdwk/pdf/%s.txt" % (pdf.title)
title_name = pdf.title
data["src"] = src
data["title_name"] = title_name+".txt"
return data
elif docType == "txt":
txt = BDWKTXT(url)
print("您将要下载的文本文档(txt)名称为:", txt.title)
txt.get_txt(url)
data = dict()
src = "/static/spider_file/bdwk/txt/%s.txt" % (txt.title)
title_name = txt.title
data["src"] = src
data["title_name"] = title_name+".txt"
return data
else:
other = BDWKPPT(url)
print("暂不支持下载%s类型" % (other.docType))
data = dict()
data["src"] = ""
data["title_name"] = "暂不支持%s类型"%(other.docType)
return data
python百度文库免费_Python在线百度文库爬虫(免下载券)相关推荐
- python爬去百度文库资料_Python在线百度文库爬虫(免下载券)
百度文库,文字类型的资源(如txt, doc, pdf),是可以在前端源码分析获取到的,如果能按照规则合理的提取这些文字资源,就可以实现免下载券获取资源. 作者完成了百度文库的在线版爬虫,只需提供文库 ...
- 《脚本》Python在线百度文库爬虫(免下载券)
百度文库,文字类型的资源(如txt, doc, pdf),是可以在前端源码分析获取到的,如果能按照规则合理的提取这些文字资源,就可以实现免下载券获取资源. 作者完成了百度文库的在线版爬虫,只需提供文库 ...
- python 百度ocr安装_Python利用百度文字识别(OCR)服务实现图片文字提取,准确率超高...
最近和朋友聊天,聊到一个充满使命感但又略显心酸的话题--下班回家在网上给小朋友抄题...那么问题来了,除了大家所知的QQ文字识别功能之外,还有哪些方式可以做到文字识别呢. 作为一名热心的Python小 ...
- python安装默认路径_Python pip install如何修改默认下载路径
Python pip install如何修改默认下载路径 pip动不动就下载数百M的文件.这些文件默认在C:盘,那么为了节省空间需要修改这些路径: 打开cmd命令窗口.输入: python -m si ...
- python爬豆瓣小组_Python伪装浏览器请求爬虫豆瓣小组
Python爬虫,下载豆瓣小组图片 # -*- coding: utf-8 -*- # ----------------------------------------------- # 程序:豆瓣小 ...
- python 百度ocr安装_Python调用百度OCR实现图片文字识别的示例代码
百度AI提供了一天50000次的免费文字识别额度,可以愉快的免费使用!下面直接上方法: 首先在百度AI创建一个应用,按照下图创建即可,创建后会获得如下: 创建后会获得如下信息: APP_ID = '* ...
- python 语音识别机器人控制系统_python实现百度语音识别api
本文实例为大家分享了python实现百度语音识别的具体代码,供大家参考,具体内容如下 详细百度语音识别api文档 先下载python用SDK,可以用python setup.py install安装 ...
- python 百度ocr识别_Python使用百度Ocr识别文字保存CSV
1.准备: 1)Python开发环境, 笔者用的是3.7; 工具用的是Pycharm 2)百度云后台创建文字识别的应用, 获取AppID, API key, Secret Key 百度云后台创建文字识 ...
- python百度人脸识别_python 与 百度人脸识别api
用python来做人脸识别代码量少 思路清晰, 在使用之前我们需要在我们的配置的编译器中通过pip install baidu-aip 即可 from aip import AipFac ...
最新文章
- Quart 2D 绘制图形简单总结
- 三十一、具有快表的地址变换机构
- 一个切割PDF文件的简单的方法 -只需要chrome浏览器
- python找不到tushare_python tushare
- 计算机应用看法,对计算机应用教学方法改革的看法
- 为什么倒排索引不采用zlib这样的字典压缩算法——因为没法直接使用啊
- 社交平台舆情分析项目的总结和感想(LU学习,EM,KNN)(二)
- 【ASP.NET MVC】 路由机制:命名路由
- php分页操作,PHP实现适用于文件内容操作的分页类
- FLEX里的CSS样式设置教材
- 域迁移过程下详细步骤
- ubuntu16.4 配置logstash6.3.2 kibanan6.3.2
- Android每周一轮子:Nvwa(热修复)
- Vertx与Spring配合完成DML操作
- gvim 命令行粘贴_vim基本命令之剪切复制粘贴替换
- 普通函数和Generator函数递归获取嵌套数组的最大值
- 送走2007 ^_^ 迎来2008
- 计算机桌面工具栏出现闪烁,电脑任务栏一直闪怎么办
- FTP文件传输神器:8uftp
- 多卡聚合路由器和普通路由器的区别
热门文章
- photoscape x pro中文特别授权版(照片处理工具) v4.1.1
- 计算机网络运营职业生涯规划,计算机网络专业的职业的职业生涯规划书如何写?...
- 平方根法matlab,MATLAB數值分析之平方根法
- Codeblocks + Widgets 创建窗口代码分析
- 你为什么被骗-广交会摊位购买防骗篇
- 我的世界java1.15.2光影_我的世界1.15.2 OptiFine HD高清修复补丁(支持光影)下载 | 我的世界中文社区...
- vue3+阿里乾坤实现主应用和微应用
- 阿里云云解析新手教程 新手看完啥都会了
- 【全源码及文档】基于B2C的网上拍卖系统—秒杀与竞价
- 关于uiautomatorviewer识别到的界面为横屏的解决方案