爬取manhua.fzdm.com上的妖尾漫画

学习使我快乐

初学者，爬取manhua.fzdm.com上妖精的尾巴漫画，
没做任何防错设施和防爬虫设施，因为不会。。。
运行的时候过了好久才被发现，可能是网速太慢了

import requests
import re
import os#获得一页的响应
def get_one_page(url):headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400'}response=requests.get(url,headers=headers)return response#在源码中找到图片的地址
def parse_one_page(html):pattern=re.compile('var\smhurl="(.*?)".*?var e.*?e.src="(.*?)"+',re.S)address=re.search(pattern,html)picture_address=address.group(2)+address.group(1)return picture_address#访问图片地址并保存
def get_picture(picture_address):r=requests.get(picture_address)with open(str(a)+'_'+str(b)+'.jpg','ab') as f:f.write(r.content)def main(a,b):html=response.textpicture_address=parse_one_page(html)result=get_picture(picture_address)if __name__=='__main__':os.mkdir('D:\\妖精的尾巴')os.chdir('D:\\妖精的尾巴')for a in range(420,515):  #从420章到514章for b in range(1,30):     #每一章从第1页找到29页，如果没20多页以后的网址，breakurl='http://manhua.fzdm.com/27/'+str(a)+'/index_'+str(b)+'.html'      #27是这个网站上妖尾的。。。response=get_one_page(url)if response.status_code==200:main(a,b)else:break

爬取manhua.fzdm.com上的妖尾漫画相关推荐

爬取了京东商城上的部分手机评论数据，仅供学习使用
京东的手机评论数据爬虫,仅供学习使用说明爬取了京东商城上的部分手机评论数据.由于项目的数据量要求不大,仅仅采用了比较简单的方式来进行数据的爬取,过程分为两个部分: 根据不同的手机品牌选择了第一页的 ...
爬取智联招聘上的求职信息
爬虫爬取智联招聘上的求职信息,并将爬取的内容保存到文件中链接:https://pan.baidu.com/s/1p4gn2enm_WnyqK_3kjnoaQ 提取码:prdb 复制这段内容后打开百度 ...
14. python爬虫——基于scrapy框架爬取糗事百科上的段子内容
python爬虫--基于scrapy框架爬取糗事百科上的段子内容 1.需求 2.分析及实现 3.实现效果 4.进行持久化存储 (1)基于终端指令 (2)基于管道 [前置知识]python爬虫--scr ...
mooc上python课程哪个好_如何爬取中国大学MOOC上的课程信息
因为最近需要做一个关于课程类的项目,但苦于没有相关课程的信息及简介.当我在看MOOC上面的Python爬虫课程时,突然想到MOOC上面的课程信息如此完善,我为何不利用下MOOC上面的课程信息呢,说干就 ...
爬取智联招聘上24座热门城市中Java招聘信息
一.确定URL及其传递的参数获取北京中Java的招聘信息url: 获取上海中Java的招聘信息url: 通过对比得知,url中传递了三个参数,jl代表城市的编号,kw代表职业,p代表当前在招聘页面的 ...
python爬取安居客网站上北京二手房数据
目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称.价格.几室几厅.大小.建造年份.联系人.地址.标签等. 网址为:https://beijing.anjuke.com/sale/ B ...
Python开发爬虫之BeautifulSoup解析网页篇：爬取安居客网站上北京二手房数据
目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称.价格.几室几厅.大小.建造年份.联系人.地址.标签等. 网址为:https://beijing.anjuke.com/sale/ B ...
我用Python爬取网易云音乐上的Hip-hop歌单，分析rapper如何押韵
缘起 <中国有嘻哈>这个节目在这个夏天吸引了无数的目光,也让嘻哈走进了大众的视野.作为我今年看的唯一一个综艺节目,它对我的影响也蛮大.这个夏天,我基本都在杭州度过,在上下班的taxi上,我 ...
python爬取音乐并保存_Python爬取网易云音乐上评论火爆的歌曲
前言网易云音乐这款音乐APP本人比较喜欢,用户量也比较大,而网易云音乐之所以用户众多和它的歌曲评论功能密不可分,很多歌曲的评论非常有意思,其中也不乏很多感人的评论.但是,网易云音乐并没有提供热评排行 ...

爬取manhua.fzdm.com上的妖尾漫画

学习使我快乐

爬取manhua.fzdm.com上的妖尾漫画相关推荐

最新文章

热门文章