python网页爬虫漫画案例_Python爬虫案例:js解密 爬取漫画
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
以下文章来源于Python爬虫案例,作者麦自香
转载地址
https://blog.csdn.net/fei347795790?t=1
在上一篇文章我们既然拿到了页面返回的值后,接下来的操作也就简单了。
本次我们是通过漫画的id进行漫画爬取,所以我们不需要再做搜索的那种形式了,若是有兴趣的话可以参照~上一篇文章~,此处直接让我们进入到漫画的章节页面。
通过审查元素我们可以发现,所有的章节链接都是通过一个ol的标签进行包裹,所以我们只要获取要页面中的一个ol标签下,所有的a链接就可以成功的获取到所有的章节链接了。
代码如下:
#获取漫画的章节地址
def get_chapter_info(self):
chapter_info = {}
url = 'http://ac.qq.com/Comic/ComicInfo/id/{}'.format(self.comic_id)
html_text = self.get_html(url)
html = self.parser(html_text)
# 找到所有章节列表
ol = html.find('ol')[0]
chapters = ol.find('a')
index = 0
for chapter in chapters:
title = chapter.attrs['title']
link = parse.urljoin(TxComic.COMIC_HOST, chapter.attrs['href'])
key = '第{}章'.format(index)
chapter_info[key] = {'title': title, 'link': link}
index += 1
return chapter_info
获取到漫画的所有章节后,我们可以通过请求每一章节的链接,来获取页面的具体信息,代码如下:
# 请求漫画每一章节的url链接
def get_comic_info(self):
chapters = self.get_chapter_info()
# print(chapters)
for k, v in chapters.items():
url = v['link']
pics = self.get_chapter_pics(url)
self.async_data(pics)
# 分析数据并下载对应章节图片
def async_data(self, res_data):
book_name = res_data['comic']['title']
if not os.path.exists(book_name):
os.mkdir(book_name)
chapter_tname = "第" + str(res_data['chapter']['cid']) + '章__' + res_data['chapter']['cTitle']
chapter_name = eval(repr(chapter_tname).replace('/', '@'))
# print(chapter_name)
path = os.path.join(book_name, chapter_name)
if not os.path.exists(path):
os.mkdir(path)
# print(res_data['picture'])
for index, v in enumerate(res_data['picture']):
name = os.path.join(path, "{}.png".format(index))
self.download_img(name, v['url'])
print(chapter_name + "爬取完毕")
在此处我们可以成功的请求到每一个url链接,接下来我们只需要对返回的页面进行js解密,然后取出_v下面的数据并下载就可以了。代码如下:
# js解码获取章节信息
def get_chapter_pics(slef, url):
while True:
try:
response = requests.get(url).text
# 获取W['DA' + 'TA']
data = re.findall("(?<=var DATA = ').*?(?=')", response)[0]
nonce = re.findall('window\[".+?(?<=;)', response)[0]
nonce = '='.join(nonce.split('=')[1:])[:-1]
# 获取W['n' + 'onc' + 'e']
nonce = execjs.eval(nonce)
break
except:
pass
# 模拟js运行,进行数据解码
T = list(data)
N = re.findall('\d+[a-zA-Z]+', nonce)
jlen = len(N)
while jlen:
jlen -= 1
jlocate = int(re.findall('\d+', N[jlen])[0]) & 255
jstr = re.sub('\d+', '', N[jlen])
del T[jlocate:jlocate + len(jstr)]
T = ''.join(T)
keyStr = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/="
a = []
e = 0
while e < len(T):
b = keyStr.index(T[e])
e += 1
d = keyStr.index(T[e])
e += 1
f = keyStr.index(T[e])
e += 1
g = keyStr.index(T[e])
e += 1
b = b << 2 | d >> 4
d = (d & 15) << 4 | f >> 2
h = (f & 3) << 6 | g
a.append(b)
if 64 != f:
a.append(d)
if 64 != g:
a.append(h)
_v = json.loads(bytes(a))
return _v
代码整合如下:
# js解码获取章节信息
def get_chapter_pics(slef, url):
while True:
try:
response = requests.get(url).text
# 获取W['DA' + 'TA']
data = re.findall("(?<=var DATA = ').*?(?=')", response)[0]
nonce = re.findall('window\[".+?(?<=;)', response)[0]
nonce = '='.join(nonce.split('=')[1:])[:-1]
# 获取W['n' + 'onc' + 'e']
nonce = execjs.eval(nonce)
break
except:
pass
# 模拟js运行,进行数据解码
T = list(data)
N = re.findall('\d+[a-zA-Z]+', nonce)
jlen = len(N)
while jlen:
jlen -= 1
jlocate = int(re.findall('\d+', N[jlen])[0]) & 255
jstr = re.sub('\d+', '', N[jlen])
del T[jlocate:jlocate + len(jstr)]
T = ''.join(T)
keyStr = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/="
a = []
e = 0
while e < len(T):
b = keyStr.index(T[e])
e += 1
d = keyStr.index(T[e])
e += 1
f = keyStr.index(T[e])
e += 1
g = keyStr.index(T[e])
e += 1
b = b << 2 | d >> 4
d = (d & 15) << 4 | f >> 2
h = (f & 3) << 6 | g
a.append(b)
if 64 != f:
a.append(d)
if 64 != g:
a.append(h)
_v = json.loads(bytes(a))
return _v
python网页爬虫漫画案例_Python爬虫案例:js解密 爬取漫画相关推荐
- python简单实践作业答案_python入门实践四:爬取牛客网面试专项练习题及答案
说明:个人练手python用. 操作系统:window10 x64 IDE:Pycharm 2017.2.2 Python版本:3.6.2 目标 牛客网是一个IT笔试面试的平台,提供了很多题库,今天我 ...
- python 爬虫热搜_python百度热搜榜爬取
# terminal中安装库 bs4 requests # pip install bs4 requests import requests from bs4 import BeautifulSoup ...
- scrapy爬取漫画台漫画
介绍 是否苦于看漫画收费,那不如自己编个程序白嫖吧! 基本环境 python 3.6 pycharm 安装scrapy pip install scrapy 创建scrapy项目 在命令行输入: sc ...
- python网页爬虫漫画案例_Python爬虫 JS 案例讲解:爬取漫画
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 以下文章来源于Python爬虫案例,作者麦自香 转载地址 https://blo ...
- python网页爬虫漫画案例_Python爬虫-用Scrapy框架实现漫画的爬取
14.jpg 在之前一篇抓取漫画图片的文章里,通过实现一个简单的Python程序,遍历所有漫画的url,对请求所返回的html源码进行正则表达式分析,来提取到需要的数据. 本篇文章,通过 scrapy ...
- python网页爬虫漫画案例_Python爬虫 JS案例分析:爬取鬼灭之刃漫
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 文章转载于公众号:快学Python 作者:皖渝 猪油骨,拿来卤~今天,来分享一下python图片爬 ...
- js function如何传入参数未字符串_Python爬虫 JS 案例讲解:爬取漫画
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 以下文章来源于Python爬虫案例,作者麦自香 转载地址 https://blo ...
- python写一个爬虫、爬取网站漫画信息_python爬取漫画
原博文 2017-05-31 00:56 − 抓取漫画的网址是:sf互动传媒 抓取漫画的由来也是看了知乎上有人说用爬取漫画,然后自己也玩玩 首页中每个漫画的url是类似这样存储的: 相关推荐 2019 ...
- js rsa解密中文乱码_python解析JS爬取漫画网站--动态爬虫
我前两天无聊,鬼灭之刃第一季完结了,我暂时没啥动漫看,就想着看看鬼灭之刃的漫画,找了半天,找一个叫漫画堆的网站 鬼灭之刃www.manhuadui.com 网页版的还可以,但是我当时拿手机在看,翻一 ...
最新文章
- r语言electricity数据集_R语言学习-数据集
- python接管已经打开ie浏览器_Python selenium:使用已经打开并使用登录凭据登录的浏览器...
- h5 php js实验总结,H5学习_番外篇_PHP数据库操作
- MXNet的Model API
- (33)FPGA面试技能提升篇(MIPI接口)
- 学web前端开发写给新手的建议,超实用
- springcloud基于ribbon的canary路由方案 1
- 恐怖谷与深度爵士:计算机艺术能达到人类的高峰吗
- open cv+C++错误及经验总结(十二)
- struts响应用户请求的工作流程
- 灵悟礼品网上专卖店——前阶段总结
- 试论软件开发项目的成功因素
- Android中.this的意思
- Region和Available Zone的区别
- 不可预料的压缩文件末端怎么解决
- jBPM4的PVM解析
- 高德地图如何取消订单_高德地图怎么取消订单
- python学习——HTMLParser
- 什么是跨职能流程图? Cross-Functional / Swimlane Flowchart
- 最近看的电影综艺推荐
热门文章
- 电脑cAD有没有手用的计算机,cad快速看图电脑版有哪些功能 cad快速看图电脑版好用吗...
- 进销存管理轻松实现入库商品分类管理
- 代码编辑神器--VSCode
- linux qt 俄罗斯方块,Qt5之QGraphicsItem编写Tetris俄罗斯方块游戏
- 微软.NET认证考试详细介绍
- 【转】亚信联创2011.9.17招聘会笔试题 .
- 基于 IBM Rational Focal Point 的产品管理
- 光盘刻录大师 5.0
- 关于光盘刻录,重洗的一些知识
- 高速固态存储卡学习资料第701篇:基于6U VPX XC7V690T的阵列M.2高速固态存储卡