首先获取所有免费漫画的信息

进入开发者模式，由于漫画是采取异步访问的方式，我们直接点击XHR，查看里面的list，可以获得所有漫画的信息

我们尝试在网页访问里面的Headers里面的URL，

得到
显然，网页采取了反爬虫机制，这边我们要设置代理，伪装成浏览器去访问，这边要添加一些头部信息
代码如下：

  headers = {"Request Method": "POST","Cookie": "U17SID=pfp8vufd21t6vd87hppch4f3p9c19ku3; index_mobile_do_ad=1; Hm_lvt_9aa72b7e4e92f182872acd1c8031f141=1538056312; UM_distinctid=1661b4cdea43aa-0b0eb36b6ca7fb-3a614f0b-100200-1661b4cdea510; CNZZDATA30088157=cnzz_eid%3D421910364-1538051250-null%26ntime%3D1538051250; Hm_lpvt_9aa72b7e4e92f182872acd1c8031f141=1538056358; _cnzz_CV30031742=%E7%94%A8%E6%88%B7%E7%B1%BB%E5%9E%8B%7C%E6%B8%B8%E5%AE%A2%7C1538056379431; CNZZDATA30031742=cnzz_eid%3D937536403-1538052583-http%253A%252F%252Fwww.u17.com%252F%26ntime%3D1538052583",}for j in range(1, 406):data = {"data[is_vip]": "no","data[theme_id]": "no","data[page_num]": j,"data[group_id]": "no","data[accredit]": "no","data[read_mode]": "no",}url = "http://www.u17.com/comic/ajax.php?mod=comic_list&act=comic_list_new_fun&a=get_comic_list"response = requests.post(url, headers=headers, data=data)content = json.loads(response.text)

接着获取所有章节/图片的资源

这边我绕了点弯路，点了一本漫画进去找了半天没找到，是要再加点进去看漫画的时候才会同时给出章节信息和图片信息
在浏览器中可直接访问可以直接爬取,下面附上我的代码
https://download.csdn.net/download/weixin_42478037/10950188

python爬取下载有妖气漫画网站免费漫画相关推荐

用python爬取《龙珠·超次元乱战》漫画并转化成pdf阅读
目录用python爬取<龙珠·超次元乱战>漫画并转化成pdf阅读需求描述问题分析源码获取源码查看图片下载 pdf生成注意事项运行结果用python爬取<龙珠·超次 ...
深夜，我用python爬取了整个斗图网站，不服来斗
深夜,我用python爬取了整个斗图网站,不服来斗 QQ.微信斗图总是斗不过,索性直接来爬斗图网,我有整个网站的图,不服来斗. 废话不多说,选取的网站为斗图啦,我们先简单来看一下网站的结构网页信息 ...
python爬取下载m3u8加密视频，原来这么简单！
1.前言爬取视频的时候发现,现在的视频都是经过加密(m3u8),不再是mp4或者avi链接直接在网页显示,都是经过加密形成ts文件分段进行播放. 今天就教大家如果通过python爬取下载m3u8加密 ...
python爬取哔哩哔哩网站数据以及弹幕
首先要爬取哔哩哔哩网站的数据 , 第一步就是要分析网页,找到网上ajax异步加载的数据即json文件,找到后还要对其爬去,这里我选正则表达式爬去网页,其次是对爬取的数据进行清洗,防止脏数据对生成的 ...
python爬取下载动态图片网站
这次我们来爬取一个图片网站 unsplash.com,为什么要选择这个网站呢?因为这个网站的所有图片都是js动态请求生成的,所以说一般的爬取肯定是不行的啦 ~ 一.工具这次爬取我们需要借助一款工具代 ...
用python爬取下载b站视频
B站之所以火,是因为趣味与知识并存.正如一句"你在B站看番,我在B站学习",B站还是有一些质量比较好的学习视频.当你在B站上看到喜欢的视频想保存下来时,怎么办呢? 转入正题,本篇推 ...
用python爬取需要cookie信息的网站
本次创作实验网站:实验网址本次创作语言:python2 编译用到的工具:pycharm,Fiddler 首先我们打开这个网站,不难发现,在高级检索目录下的内容是需要登录后才能获取到的,所以我们需要先 ...
Python爬取2万条相亲网站数据！看看中国单身男女都在挑什么！
想必昨天的七夕节,一定是有人欢喜有人忧的一天,朋友圈里的晒照惹恼了我的一个程序员朋友,在昨晚怒爬2万条相亲网站数据,做了一次相亲男女画像! 话不多说,我们今天就以"世纪佳缘"这个相 ...
python 爬取电子书_看kindle网站电子书用Python爬取下载
一个下载看kindle(kankindle.com)的所有电子书的python脚本,程序会自动下载首页部分13页的所有电子书,下载到ebook目录下,程序会检测是否下载过. #!/usr/bin/en ...
我用python爬取了整个斗图网站
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...

python爬取下载有妖气漫画网站免费漫画

首先获取所有免费漫画的信息

接着获取所有章节/图片的资源

python爬取下载有妖气漫画网站免费漫画相关推荐

最新文章

热门文章