Python爬虫案例,腾讯动漫爬虫,步骤超详细解释。
实施步骤
(1) 数据爬取:使用requests请求为基础获取数据源。
(2) UA伪装:模拟浏览器访问网址。
(3) 数据解析:使用xpath语法处理数据。
(4) 数据存储:获取需求数据后使用Excrl进行存储
目标网址
https://ac.qq.com/Comic/all/search/hot/page/1
库的使用
Openpyxl:openpyxl 模块是一个读写 Excel 2010 文档的 Python 库,如果要处理更早格式的 Excel 文档,需要用到其它库(如:xlrd、xlwt 等),这是 openpyxl 比较其他模块的不足之处。openpyxl 是一款比较综合的工具,不仅能够同时读取和修改 Excel 文档,而且可以对Excel文件内单元格进行详细设置,包括单元格样式等内容,甚至还支持图表插入、打印设置等内容,使用 openpyxl 可以读写xltm, xltx, xlsm, xlsx 等类型的文件,且可以处理数据量较大的 Excel 文件,跨平台处理大量数据等。
Requests:requests是基于Python开发的HTTP 库,与urllib标准库相比,它不仅使用方便,而且能节约大量的工作。实际上,requests是在urllib的基础上进行了高度的封装,它不仅继承了urllib的所有特性,而且还支持一些其它的特性,比如使用Cookie保持会话、自动确定响应内容的编码等,可以轻而易举地完成浏览器的任何操作。
Lxml:lxml是一个Python库,使用它可以轻松处理XML和HTML文件,还可以用于web爬取。这个库的主要优点是易于使用,在解析大型文档时速度非常快,归档的也非常好,并且提供了简单的转换方法来将数据转换为Python数据类型,从而使文件操作更容易。
数据采集
简单分析网页后发现该网页翻页操作可通过对url的相关参数修改得知。
测试如下:
进行多次测试得知通过对url相关参数修改的确实现了换页功能。
!!!!!!
共292页,我们可以通过简单的for循环实现每一页的替换。
for n in range(293):请求数据
对url进行修饰后使得for循环的参数可以对请求的目标网址url进行影响。
url = f'https://ac.qq.com/Comic/all/search/hot/page/{n}'
因为绝大多数门户网站的服务器会检测对应请求的载体身份标识,如果检测到载体身份标识为某一浏览器说明该请求是一个正常请求. 但是!如果检测到请求载体身份标识不是基础于莫一款浏览器的,则表示该请求为不正常请求(爬虫),则服务器端就很有可能拒绝该次请求。所以为了应对我们进行一点小小的操作UA伪装(UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器)
这里我们直接复制浏览器的UA让爬虫携带上就可以进行UA伪装了。
headers={"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/85.0.4183.83 Safari/537.36'}
综上所述采集获取部分如下:
for n in range(293):url = f'https://ac.qq.com/Comic/all/search/hot/page/{n}'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'}response = requests.get(url=url,headers=headers)
数据分析
首先对采集的数据进行简单的处理。
response = response.text
tree = etree.HTML(response)
对网址检查分析。
发现它的每一页的每一部漫画的相关数据在这样一个li标签里面。
使用xpath进行解析
li_all = tree.xpath('/html/body/div[3]/div[2]/div/div[2]/ul/li')
获取了每一页的所有漫画大概内容后,就可以对每本的细节进行分析。
这里我们获取每本漫画漫画名,作者,人气。
对网页分析如下:
使用xpath语法解析得
作品名字 = li_all[q].xpath('./div[2]/h3/a/text()')
作者 = li_all[q].xpath('./div[2]/p[1]/text()')
人气 = li_all[q].xpath('./div[2]/p[2]/span/em/text()')
因为一个的本数刚好就是之前
- 的个数,我们对li标签的列表进行长度获取就可以。
len(li_all)
然后进行for循环遍历,获取每页每本的详细数据。
for q in range(len(li_all)):e = li_all[q].xpath('./div[2]/h3/a/text()')z = li_all[q].xpath('./div[2]/p[1]/text()')r = li_all[q].xpath('./div[2]/p[2]/span/em/text()')
综上所述解析获取部分如下:
response = response.texttree = etree.HTML(response)li_all = tree.xpath('/html/body/div[3]/div[2]/div/div[2]/ul/li')for q in range(len(li_all)):e = li_all[q].xpath('./div[2]/h3/a/text()')z = li_all[q].xpath('./div[2]/p[1]/text()')r = li_all[q].xpath('./div[2]/p[2]/span/em/text()')
源码
import openpyxl import requests from lxml import etreewb = openpyxl.Workbook() # 新建一个workbook # print(wb) ws = wb.active # 调用正在运行的工作表ws['A1'] = '漫画';ws['B1'] = '作者名字';ws['C1'] = '人气'number = 2 for n in range(293):url = f'https://ac.qq.com/Comic/all/search/hot/page/{n}'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'}response = requests.get(url=url,headers=headers)response = response.texttree = etree.HTML(response)li_all = tree.xpath('/html/body/div[3]/div[2]/div/div[2]/ul/li')for q in range(len(li_all)):e = li_all[q].xpath('./div[2]/h3/a/text()')z = li_all[q].xpath('./div[2]/p[1]/text()')r = li_all[q].xpath('./div[2]/p[2]/span/em/text()')ws[f'A{number}'] = e[0]ws[f'B{number}'] = z[0]ws[f'C{number}'] = r[0]print('漫画:',e[0],'\n作者名字:',z[0],'\n人气:',r[0])print()number += 1wb.save('./漫画.xlsx')
结果演示
Python爬虫案例,腾讯动漫爬虫,步骤超详细解释。相关推荐
- 腾讯动漫爬虫与动态随机加载反爬破解技术实战
本文作者韦玮原创,转载请注明出处. 项目需求与问题引入 有时,我们想爬取腾讯动漫中的漫画,比如,我们不妨打开腾讯动漫中某一个动漫的网址ac.qq.com/Comic/comic-,如下图所示: 然后, ...
- 一个瓜皮的腾讯动漫爬虫
零基础,一直十分想要下载腾讯动漫上的漫画,之前找了好几个爬虫总是运转的不太好,有一个爬虫能用,但是好像最近腾讯又改动了页面导致匹配出现了点问题. 于是一边查一边复制粘贴一边自己摸索一天半搞了这个弟弟爬 ...
- Python爬取腾讯动漫全站漫画详细教程(附带源码)
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:merlin& PS:如有需要Python学习资料的小伙伴可 ...
- matlab imcrop 对应python函数_Python精讲Numpy基础,大牛笔记详细解释
总认为Numpy是渣渣,直到深入接触以后才知道功能这么强大.堪比Matlab啊.果然是人生苦短,我用Python.所以本文作为一个记录&笔记,文章内容大多数取自网络以&官网快速入门等, ...
- python模板代码替换_Python - 安全替换字符串模板(safe_substitute) 详细解释
安全替换字符串模板(safe_substitute) 详细解释 本文地址: http://blog.csdn.net/caroline_wendy/article/details/27057339 字 ...
- python爬取腾讯新闻_python爬虫实战――爬取腾讯新闻 !
无论我们通过浏览器打开网站.访问网页,还是通过脚本对URL网址进行访问,本质上都是对HTTP服务器的请求,浏览器上所呈现的.控制台所显示的都是HTTP服务器对我们请求的响应. 以打开腾讯新闻官网为例, ...
- 2023年必须收藏的python变现渠道,接单注意事项,超详细
这是本文的目录 前言 Python为什么会大受欢迎 python副业有哪些 1.兼职处理数据 2.兼职查询资料 3.兼职P图 4.爬虫类 5.平台接单 Python赚外快的一些其它方式 1)自媒体也是 ...
- python3安装步骤-超详细的小白python3.X安装教程|Python安装
安装Python 因为Python是跨平台的,它可以运行在Windows.Mac和各种Linux/Unix系统上.在Windows上写Python程序,放到Linux上也是能够运行的. 目前,Pyth ...
- python 分布式框架_Python 并行分布式框架:Celery 超详细介绍
本博客摘自:http://blog.csdn.net/liuxiaochen123/article/details/47981111 先来一张图,这是在网上最多的一张Celery的图了,确实描述的非常 ...
最新文章
- ue5新手零基础学习教程 Unreal Engine 5 Beginner Tutorial - UE5 Starter Course
- 漫画:三种 “奇葩” 的排序算法
- mysql with as 用法_英语语法丨英语中just的用法总结,你掌握了吗?
- python2.7是什么_python2.7是什么
- python 长时间运行 会停止_如何“停止”和“恢复”长时间运行Python脚本?
- Poj(2312),坦克大战,BFS的变形
- docx4j linux上文件内容乱码问题
- 深度学习实现代码汇总
- FineUIMvc随笔(5)UIHelper是个什么梗?
- 获取list中出现频数最多的元素
- C语言基础学习day04
- css让四个div并排显示,css如何让两个div并排显示?
- 微信域名被屏蔽被封了的解决办法 微信网址被屏蔽了红了照样打开
- SQL server 强制释放内存
- bzoj2448 挖油
- 称金币问题: 有27枚金币,其中一个是假的。假的比真的略轻。现在有一个天平,问最少几次可以找出假币?
- c语言处理用户错误输入,C语言实现用户输入
- OpenSim 使用
- 雨流计数法Matlab代码
- 麓言信息学UI设计必须掌握的知识体系和职业规划
热门文章
- 【八数码问题】基于状态空间法的知识表示与状态搜索:无信息搜索(BFS/DFS) 启发式搜索(A*)
- AI英雄 | 钢铁侠CEO张锐:如何打造中国版的波士顿动力
- AI英雄 | 专访vivo周围:手机行业的下一站是AI与IoT
- smtplib、email实现邮件发送
- 做一个领导喜欢的员工
- android 图片拼接工具,拼接工坊 - 这才是你需要拼接截图工具 - Android 应用 - 【最美应用】...
- P5017 [NOIP2018 普及组] 摆渡车 题解
- css div 段落,一些常用的DIV+CSS的网页布局所用的代码段
- CVX介绍——基础篇
- 【PR样机模板】大型商场广场电子显示屏广告宣传视频海报PR样机素材