python 爬取腾讯漫画
先上个爬取的结果图
最后的结果为每部漫画按章节保存
运行环境
IDE VS2019
Python3.7
Chrome、ChromeDriver
Chrome和ChromeDriver的版本需要相互对应
先上代码,代码非常简短,包含空行也才50行,多亏了python强大的库
import os import time import requests from selenium import webdriver from lxml import etreedef getChapterUrl(url):headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"}part_url = "http://ac.qq.com"res = requests.get(url, headers=headers)html=res.content.decode()el = etree.HTML(html)li_list = el.xpath('//*[@id="chapter"]/div[2]/ol[1]/li')for li in li_list:for p in li.xpath("./p"):for span in p.xpath("./span[@class='works-chapter-item']"):item = {}list_title = span.xpath("./a/@title")[0].replace(' ', '').split(':')if list_title[1].startswith(('第', '序')):getChapterFile(part_url + span.xpath("./a/@href")[0], list_title[0],list_title[1])def getChapterFile(url,path1,path2):#path = os.path.join(path)#漫画名称目录path=os.path.join(path1)if not os.path.exists(path):os.mkdir(path)#章节目录path=path+'\\'+path2if not os.path.exists(path):os.mkdir(path)chrome=webdriver.Chrome()#"http://ac.qq.com/ComicView/index/id/505435/cid/2"chrome.get(url)time.sleep(4)imgs = chrome.find_elements_by_xpath("//div[@id='mainView']/ul[@id='comicContain']//img")for i in range(0, len(imgs)):js="document.getElementById('mainView').scrollTop="+str((i) * 1280)chrome.execute_script(js)time.sleep(3)print(imgs[i].get_attribute("src"))with open(path+'\\'+str(i)+'.png', 'wb') as f:f.write(requests.get(imgs[i].get_attribute("src")).content)chrome.close() print('下载完成') if __name__ == '__main__':getChapterUrl('http://ac.qq.com/Comic/ComicInfo/id/505435')
简单解释
输入一个漫画的url即可爬取该漫画所有的章节,由于是模拟用户爬取的,所以速度方面有点慢,我试了下爬取银魂前70章,用了1个半小时,代码中的sleep可以适当简短点已加快爬取的速度
付费的漫画是没有办法爬取的
谈一下过程中遇到的坑
腾讯的漫画网站打开章节时没有把所有图片的url都加载出来,所以我在这里用的方式是使用selenium来模拟用户操作,每次打开页面以后使用js操作滚动条下拉
最后再贴下代码库,其实贴出的代码已经是所有的代码了
https://dev.azure.com/shenjuncaci/PythonTecentManhua
python 爬取腾讯漫画相关推荐
- 腾讯爬虫python_【Python爬虫+js逆向】Python爬取腾讯漫画!
前一段假期期间,博主已经自学完了Python反爬虫的相关内容,面对各大网站的反爬机制也都有了一战之力.可惜因实战经验不足,所以总体来说还是一个字--菜.前两天,在学习并实战爬取了博主最爱看的腾讯动漫后 ...
- python 爬取整部漫画(简单的图片爬取)
用python爬取整部漫画 文章目录 用python爬取整部漫画 契机 收集信息 目录页 内容页 开始爬取 目录页 内容页 完整代码 契机 最近突然少女心爆棚,追上了一本甜甜的恋爱日漫& ...
- python爬取2019年计算机就业_2019年最新Python爬取腾讯招聘网信息代码解析
原标题:2019年最新Python爬取腾讯招聘网信息代码解析 前言 初学Python的小伙们在入门的时候感觉这门语言有很大的难度,但是他的用处是非常广泛的,在这里将通过实例代码讲解如何通过Python ...
- python爬取腾讯视频会员V力值
python爬取腾讯视频会员V力值 练练手,只需要将cookies改成自己的 便即可运行. from bs4 import BeautifulSoup import requests import r ...
- python爬取腾讯视频弹幕_用Python爬取腾讯视频弹幕
原标题:用Python爬取腾讯视频弹幕 via:菜J学Python 1.网页分析 本文以爬取<脱口秀大会 第3季>最后一期视频弹幕为例,首先通过以下步骤找到存放弹幕的真实url. 通过删减 ...
- python爬取鬼灭漫画+简单JS分析
Python实战社群 Java实战社群 长按识别下方二维码,按需求添加 扫码关注添加客服 进Python社群▲ 扫码关注添加客服 进Java社群▲ 作者丨皖渝 源自丨快学python(ID:kxpyt ...
- scrapy实践二(selenium爬取腾讯漫画【失败】)
前言 一个月前曾学习过爬取腾讯动漫全站的示例代码,现在再用scrapy尝试 过程 新建spider爬虫 编写普通selenium爬虫爬取漫画 观察网页,确定目标 本次目标是爬取热门排行下的漫画 右键检 ...
- Python 爬取腾讯电视剧评论
定向爬取腾讯电视剧评论 本例思路:打开评论页面,通过fiddler提取加载评论页面的网址,对比分析url,构造内容和用户pattern,然后爬取输出. 1,打开电视剧如果爱页面https://v.qq ...
- python爬取收费漫画_Python爬虫,爬取腾讯漫画实战
先上个爬取的结果图 最后的结果为每部漫画按章节保存 运行环境 ide vs2019 python3.7 chrome.chromedriver chrome和chromedriver的版本需要相互对应 ...
最新文章
- 如何用git连接mysql_phpstorm神器之连接使用GitMySQL
- 如何使盘ISO图像文件
- VHDL中的分辨函数
- composer升级_Composer 使用姿势与 Lumen 升级指南
- PHP array_map()
- pgsql查表名_PostgreSQL 查询一个表
- mysql存过游标_mysql存储过程游标使用
- 不断被刷新的未来——读文档有感
- python不用sort排序_Python排序方法sort、sorted的key参数的作用
- 热门论坛排行top100--2010年07月11日[转]
- 二维空间:点到直线距离的计算
- 20172328 2018-2019《Java软件结构与数据结构》第三周学习总结
- Atmel 官方网站中文版
- 支付宝接口的在线支付(https://openhome.alipay.com/platform/appDaily.htm?tab=info)
- docker相关的文件配置
- pdfbox2.0.1将pdf转图片
- TreeView相关
- Python matplotlib 柱状图 添加平均线
- [百家争鸣]LYT演讲:人文素养的必要
- 全屋定制“下乡”之路,一线从业者的思考:这真是赚钱的生意吗?