中国曲谱网爬虫研究(Python)

注：本文为个人学习探索历程

如果直接对该链接（甲骨文“获”之写意笛子谱/洞箫谱（为F调箫而作）_器乐乐谱_中国曲谱网 (qupu123.com)）发起请求，得到的数据里只有一张图片的链接（其他几张的链接都用的第一张的代替的），因为剩下的都是异步加载再重新安排上去的（老奸巨猾手段）

首先我是去从异步请求中找包含加载图片的请求，果不其然被我找到了，然后开始分析链接的参数，但这个参数我没有在一开始得到的数据中找到，不用猜是加密了

所以我开始顺藤摸瓜的去找发起该请求的发起程序，顺利的找到了加密部分的js，然后保存到本地开始解密，一般来说解密出相关加密手段后用python代替这一过程就差不多好了（或者用node.js搭配python那样也可以）

但我突然想起这个页面的加载好像是有一个查看剩余曲谱按钮的（在最开始爬取的html数据里有这个东西），但它属性设置的style="display: none;"也就是隐藏起来了，那我把他调试成显示看看能不能用，能不能从它身上做点文章呢。于是我把style属性删了让这个控件显示出来，通过点击它发现它真的有效，在网络里也监控到了一系列请求

接下来对这几个请求进行分析一下，发现这一系列的请求中没有加密，只是请求次数多了点，而且主要看着三个请求

第一个get请求，该链接从上面说的这个控件里来，得到的参数重要部分如图

第二个post请求，参数由上一个链接中得到，该链接得到的数据中包含剩下图片的链接部分

最后将得到的部分链接和前半固定部分拼接就是剩下的图片的链接

整体思路出来了，接下来的爬虫也好写了

中国曲谱网爬虫研究(Python)相关推荐

python爬虫爬取中国天气网_【实战】中国天气网爬虫之华北城市数据爬取
概述: 在人工智能来临的今天,数据显得格外重要.在互联网的浩瀚大海洋中,隐藏着无穷的数据和信息.因此学习网络爬虫是在今天立足的一项必备技能.本路线专门针对想要从事Python网络爬虫的同学而准备的,并 ...
中国天气网爬虫数据可视化
目录中国天气网爬虫数据可视化爬虫功能网页分析以华北地区为例分析网页源代码 1.以谷歌浏览器为例分析 2. 提取特征标签 3.分析源代码利用requests库获取目标网页源代码利用Beaut ...
中国土地市场网爬虫——字体woff加密还原
通过我上篇博客:中国土地市场网爬虫--浏览器Cookie验证(简单) 和中国土地市场爬虫--浏览器cookie验证(图片验证码)讲述了中国土地市场网(www.landchina.com)的两种访问限制 ...
［网络爬虫｜smtp协议｜python］东方财富网爬虫，python smtp协议发送爬取数据至QQ邮箱
本文改自［网络爬虫|smtp协议|python］东方财富网爬虫,python smtp协议发送爬取数据至QQ邮箱之前写的爬虫单子,代码已经跑了快3个月了,后续又增加了一些需求,修改了一些小bug ...
python爬虫为什么xpath路径正确却检索不到内容_中国知网爬虫
一.知网介绍提起中国知网,如果你曾经写过论文,那么基本上都会与中国知网打交道,因为写一篇论文必然面临着各种查重,当然翟博士除外.但是,本次重点不在于写论文跟查重上,而在于我们要爬取知网上一些论文的数 ...
中国土地市场网爬虫——浏览器Cookie验证（简单）
很久以前研究过中国土地市场网(www.landchina.com),当时只抓取了一个城市的数据2万多条的数据,当时只是觉得服务器经常宕机,还没有发现有怎么反爬虫的限制.最近空闲准备把所以的数据抓取下来 ...
用计算机弹生僻字乐谱,生僻字 E调（拇指琴卡林巴琴弹奏谱）_谱友园地_中国曲谱网...
<生僻字 E调>文本歌词我们中国的汉字,落笔成画留下五千年的历史让世界都认识,我们中国的汉字,一撇一捺都是故事跪举火把虔诚像道光,四方田地落谷成仓,古人象形声意辨恶良魃(bá)魈( ...
小半计算机谱子,小半 _桃李醉春风个人制谱园地_中国曲谱网
<小半>文本歌词陈粒 - 小半作曲 : 陈粒作词 : 涂玲子不敢回看左顾右盼不自然的暗自喜欢偷偷搭讪总没完地坐立难安试探说晚安多空泛又心酸低头呢喃对你的偏爱太过于明目张 ...
98k用计算机图片,98K （HandClap）_谱友园地_中国曲谱网
<98K>文本歌词 98K之歌-HandClap- 抖音制谱:孙世彦这首<HandClap>是Fitz&The Tantrums乐队演唱的一首歌曲,同时也是绝地求生 ...
中国土地市场网爬虫案例
本案例以土地市场列表页请求.供地结果搜索页请求为例,其实网站采集难度不大,但是一些细节值得学习. 链接:https://www.landchina.com/default.aspx?tabid=263 ...

中国曲谱网爬虫研究(Python)

中国曲谱网爬虫研究(Python)相关推荐

最新文章

热门文章