python爬取有妖气漫画

爬取URL=https://www.u17.com/chapter/26636.html#image_id=221085
爬取有妖气漫画，本人谷歌浏览器获取到的信息：
位置selector：#cur_img_221085
属性位置：tc > comic_read_img 盒子下

开始爬取

url='https://www.u17.com/chapter/26636.html#image_id=221085'
resp=requests.get(url)
print(resp.text)

发现并没有img图片，重新摸索浏览器信息，在加载HTML页面是JS部分声明img列表；由此可判断该部分img图片由js动态生成。
原因：requests爬取静态HTML文内容
当然动态加载的网页自然也有办法爬取
准备：
pip install selenium
下载PhantomJS
下载地址：https://phantomjs.org/download.html
或http://npm.taobao.org/dist/phantomjs/
环境变量path加入phantomjs/bin即可

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
pic_list=[]
url='https://www.u17.com/chapter/929918.shtml#image_id=8108355'
driver=webdriver.PhantomJS(executable_path='D:/Program Files (x86)/phantomjs-2.1.1-windows/bin/phantomjs.exe')
driver.get(url)
soup=BeautifulSoup(driver.page_source,'html.parser')
result=soup.find_all('img',class_='image_cache loading')
for img_src in result:if img_src['data-src'] not in pic_list:pic_list.append(img_src['data-src'])
head={'User-Agent':'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1','Connection':'keep-alive'}
for img_src in pic_list:count=1resp=requests.get(img_src)f=open('Z-H-J-'+count+'.jpg','wb')f.write(resp.content)count=count+1

如果出现以下信息，请忽略，只是因为目前的Selenium版本放弃 PhantomJS，但不影响程序运行

UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox insteadwarnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '

结果爬取到的图片，像素化的图片有待结果…

python爬取有妖气漫画相关推荐

python 爬取整部漫画（简单的图片爬取）
用python爬取整部漫画文章目录用python爬取整部漫画契机收集信息目录页内容页开始爬取目录页内容页完整代码契机最近突然少女心爆棚,追上了一本甜甜的恋爱日漫& ...
python爬取鬼灭漫画+简单JS分析
Python实战社群 Java实战社群长按识别下方二维码,按需求添加扫码关注添加客服进Python社群▲ 扫码关注添加客服进Java社群▲ 作者丨皖渝源自丨快学python(ID:kxpyt ...
腾讯爬虫python_【Python爬虫+js逆向】Python爬取腾讯漫画！
前一段假期期间,博主已经自学完了Python反爬虫的相关内容,面对各大网站的反爬机制也都有了一战之力.可惜因实战经验不足,所以总体来说还是一个字--菜.前两天,在学习并实战爬取了博主最爱看的腾讯动漫后 ...
python 爬取腾讯漫画
先上个爬取的结果图最后的结果为每部漫画按章节保存运行环境 IDE VS2019 Python3.7 Chrome.ChromeDriver Chrome和ChromeDriver的版本需要相互对应 ...
Python爬虫-爬取快看漫画网图片并拼接成漫画长图
Python爬虫-爬取快看漫画网图片并拼接成漫画长图 1.爬取图片 2.拼接图片 1.爬取图片 import os import requests from bs4 import BeautifulS ...
python自动爬取快看漫画并发布至头条号(没编程基础也可学会）
一,介绍 1.简介:这是一个可以自动爬取快看漫画上的漫画,下载到本地,并自动发布到今日头条号的编程,无编程基础的人也可学会 2.学习: 1)对于学习python技术的,你可以学习python爬虫技术 ...
用python爬取《龙珠·超次元乱战》漫画并转化成pdf阅读
目录用python爬取<龙珠·超次元乱战>漫画并转化成pdf阅读需求描述问题分析源码获取源码查看图片下载 pdf生成注意事项运行结果用python爬取<龙珠·超次 ...
用python爬取漫画！
作者: 锋小刀微信搜索[Python与Excel之交]关注我的公众号查看更多内容 Hi~ 大家好! 今日教大家用Python爬取某网站的全部漫画,让你想看什么漫画就看什么漫画!本文代码量有的多,请耐 ...
Python爬虫爬取网站小漫画
python爬取小漫画最近在google冲浪的时候发现一个很有意思的漫画网站,可以看韩国的小漫画,但是只可以看很少的一部分,后面的需要付费观看,于是就想着怎么才能免费看到这个网站的所有漫画. 于是我 ...
用python爬取漫画，代入感太强了
导语: 哈喽,哈喽~当有人给你安利了一部超级好看的漫画时. 你点进去看了一下,这画风,这剧情,代入感太强我现在宣布我就是女主了. 但是看着看着,要vip你又没有,这是什么人间疾苦啊!我的女主光环呢? ...

python爬取有妖气漫画

python爬取有妖气漫画相关推荐

最新文章

热门文章