利用python爬取小说诡秘之主

import requests,re,os
dir_name='guimi'
if not os.path.exists('guimi'):os.makedirs('guimi')
response=requests.get('https://www.bqg99.cc/book/1476058/')
# print(response.status_code)打印状态码，200继续，否则停止。
# print(response.apparent_encoding) 查看网页的编码格式
html=response.text
# print(html)
regular=re.compile('<dd><a href ="(.*?)">(.*?)</a></dd>')
urls=re.findall(regular,html)
# print(urls)
for url in urls:novel_title=url[1]print(novel_title)response=requests.get(url[0])html=response.text# print(html_chapter)regular=re.compile('<div id="content" class="showtxt">(.*?)</div>',re.S)novel_content=re.findall(regular,html)novel_content=novel_content[0]novel_content=novel_content.replace(r'<br />','')novel_content=novel_content.replace('请记住本书首发域名：www.bqg99.cc。笔趣阁手机版更新最快网址：m.bqg99.cc','')# print(novel_content)with open(dir_name+'/'+'{}.txt'.format(novel_title),'w') as f:f.write(novel_content)

利用python爬取小说诡秘之主相关推荐

利用Python爬取小说（附源码）
用30行代码爬取某小说网站上的一篇小说一.导入模块 import requests from lxml import etree import time 二.获取网站的响应信息,并以text打印 u ...
利用python爬取东方财富网股吧评论并进行情感分析（一）
利用python爬取东方财富网股吧评论(一) python-东方财富网贴吧文本数据爬取分享一下写论文时爬数据用到的代码,有什么问题或者改善的建议的话小伙伴们一起评论区讨论.涉及内容在前人的研究基础之 ...
利用python爬取豆瓣电影top250
利用python爬取豆瓣电影top250: 注:本内容只是作为个人学习记录 1.业务分析进入网页https://movie.douban.com/top250 可以看见每部电影都呈现在眼前,点击电影 ...
利用python爬取2019-nCoV确诊数据并制作pyecharts可视化地图
1.本章利用python爬取2019-nCoV确诊数据并制作pyecharts可视化地图: 2.主要内容为绘制出中国各省疫情数据,疫情数据从四个维度进行可视化展示:累积确诊人数.现存确诊人数.治愈人数 ...
利用python爬取猫眼电影，分析《大侦探皮卡丘》|凹凸数读
利用python爬取猫眼电影,分析<大侦探皮卡丘>,看看当皮卡丘长出绒毛,"丑拒"还是"真香"都在猫眼短评里了. 本文首发于微信公众号<凹凸数 ...
python 怎么爬桌软件数据_如何利用Python爬取并分析红岭创投的数据？
第一步:爬取数据通过 selenium + Firefox 的无头模式将需要的数据爬取出来,代码实现不在赘述,详细步骤可查看我的上一篇图文(如何利用Python爬取网易新闻), 由于 seleniu ...
python 翻译库本地库_利用python爬取并翻译GEO数据库
原标题:利用python爬取并翻译GEO数据库 GEO数据库是NCBI创建并维护的基因表达数据库,始于2000年,收录了世界各国研究机构提交的高通量基因表达数据,现芯片集数据量高达12万以上.想要从这 ...
python爬取股票信息_利用Python爬取网易上证所有股票数据（代码
利用Python爬取网易上证所有股票数据(代码发布时间:2018-04-14 17:30, 浏览次数:1261 , 标签: Python import urllib.request import r ...
利用python爬取丁香医生上新型肺炎数据，并下载到本地，附带经纬度信息
新增:国外疫情网站介绍已更新:爬取国外疫情数据已更新:新型肺炎历史数据下载 2020年3月27日补充: 制作了一个全球肺炎数据查询下载网站,效果如下: 访问地址:http://119.3.227. ...

利用python爬取小说诡秘之主

利用python爬取小说诡秘之主相关推荐

最新文章

热门文章