用Python爬取某网中小说内容代码分享

用Python爬取纵横中文网中小说内容代码分享

这个内容只是纯粹想保留下前几天写的一个小小程序，想想缘由是为了激励学生好好学习。
从这些年对来上课的学生的观察，学生们从原来的刷古装剧到现在的刷娱乐节目，从刷博客到刷短视频，从原来的CS游戏到现在的看小说看王者，虽然爱好在变，但是对信息技术学科的爱好仍然只停留在对信息技术机房的网络环境的爱好这个无奈的现状下。
上周开始学循环了，循环是一个让很多同学头疼的知识点，看不到在课堂上程序可以干嘛。只能写写那些小学数学计算判断题吗？于是投其所好，针对学生们对看小说的热爱，写了这个爬虫程序，告诉他们，学习是为了能在以后能更好阅读理解并运用网络上网友们的程序，达到利用计算机程序解决问题的目的。
下方附代码，写得比较粗糙，勿喷。

import urllib.request
from bs4 import BeautifulSoup
import redef getData(url):head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0;Win64;x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36"}request = urllib.request.Request(url, headers=head)response = urllib.request.urlopen(request)html = response.read().decode('utf-8')return htmldef saveFile(html, name):path = open(f'test/{name}.txt', 'w', encoding='utf-8')  # 已写入的方式创建文件path.write(html)  # 写入爬下的信息path.close()  # 关闭文件#findname = re.compile(r'<a (.*?) src="(.*?)"', re.S)
findtitle = re.compile(r'<a (.*?)>(.*?)</a>')if __name__ == "__main__":url = "http://book.*****.com/showchapter/921241.html" #此处屏蔽具体网址，不然不给发啊html = getData(url)#print(html)soup=BeautifulSoup(html , "html5lib")lit = soup.find_all("li",class_ = 'col-4')#print(lit)j = 1urllist = []content=""try:for item in lit:filetitle = re.findall(findtitle,str(item))urllist.append(filetitle[0][0][6:59])#print(filetitle[0][0][6: 59])urlx = filetitle[0][0][6: 59]htmlx = getData(urlx)soupx = BeautifulSoup(htmlx, "html5lib")lix = soupx.find_all("div", class_='content')print(lix[0])content = content + str(filetitle[0][1]) + str(lix[0])j = j + 1except:print("第",j,"章是新的一章")content = content.replace("<div class=\"content\" itemprop=\"acticleBody\">"," ")content = content.replace("<div>"," ")content = content.replace("</div>", "\n")content = content.replace("<p>", "  ")content = content.replace("</p>", "\n")saveFile(content, 'story')

用Python爬取某网中小说内容代码分享相关推荐

python爬取东方财富网中的资金流向表
因为东方财富网中的资金流向表是一个动态的数据,所以采用selenium模块进行爬取. 爬取东方财富网的资金流向表的具体步骤: 1.获取初始的URL 2.爬取对应的URL地址的网页,获取新的URL地址 ...
python爬取笔趣阁小说的代码微小调整修改
原文来自: https://blog.csdn.net/u012717715/article/details/92811743 本人说明:其实严格地这不是转载,实际上更应该算是原创!原文代码不能正常 ...
python爬取网页书籍名称代码_python爬取亚马逊书籍信息代码分享
我有个需求就是抓取一些简单的书籍信息存储到mysql数据库,例如,封面图片,书名,类型,作者,简历,出版社,语种. 我比较之后,决定在亚马逊来实现我的需求. 我分析网站后发现,亚马逊有个高级搜索的功能 ...
python爬虫爬取慕课网中的图片
我们简单地爬取慕课网中免费课程下的第一页的图片,如想爬取多页图片,可以添加for循环自行实现 python版本:3.6.5 爬取网址:http://www.imooc.com/course/list ...
Python爬取书包网文章实战总结
python爬取书包网文章总结今天闲来无事去看小说,但是发现没办法直接下载,所以呢就用python爬虫来下载一波了,哈哈- 爬取的是这篇小说:剑破九天(是不是很霸气,话不多说,开始-) 总体思路步骤 ...
python爬取东方财富网资金流向数据（在本地生成csv文件）
今天我们来试着用python爬取东方财富网资金流向的表格数据. 第一步:程序及应用的准备首先我们需要安装selenium库,使用命令pip install selenium;然后我们需要下载对应的c ...
利用python爬取东方财富网股吧评论并进行情感分析（一）
利用python爬取东方财富网股吧评论(一) python-东方财富网贴吧文本数据爬取分享一下写论文时爬数据用到的代码,有什么问题或者改善的建议的话小伙伴们一起评论区讨论.涉及内容在前人的研究基础之 ...
python爬取笔趣阁小说（附源码）
python爬取笔趣阁小说文章目录 python爬取笔趣阁小说前言一.获取小说目录结构获取目录连接请求代码解析目录 XPath tqdm 解析二.获取小说章节结构请求代码解析章节代 ...
python爬取当当网商品评论
python爬取当当网商品评论本案例获取某鞋评论作为例案例目的: 通过爬取当当网商品评价,介绍通过结合jsonpath和正则表达式获取目标数据的方法. 代码功能: 输入爬取的页数,自动下载保存每页 ...
python爬取小说爬取_用python爬取笔趣阁小说
原标题:用python爬取笔趣阁小说首先打开笔趣阁网址,链接,搜索自己想要的小说. 在网站内单击右键,点击检查,会出现如下界面! 我们需要的章节信息就在我划的这块, 可以将每个标签点一下,它对应的内 ...

用Python爬取某网中小说内容代码分享

用Python爬取纵横中文网中小说内容代码分享

用Python爬取某网中小说内容代码分享相关推荐

最新文章

热门文章