前言

今天，来给大家一个分享一下如何使用20爬虫行代码爬取网络小说（这里我们以龙族为例）

一、爬虫是什么？

爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端（如浏览器、App）发送网络请求，接收请求响应，然后按照一定的规则，自动的从响应中提取出需要的数据。

二、实现过程

1.首先，我们来了解一下步骤
1模仿浏览器请求服务器，从而获取数据
2用requests模块对请求的网页进行分析，提取含有数据的标签
3将获取到的数据进行统一编码，并保存
2.代码实现
1首先我们导入需要使用到的模块，

#导入模块
import requests
import parsel

2然后复制我们需要爬取的网站，赋值给变量
这里headers的赋值需要到网页中，将鼠标置于空白处，然后点击检查，然后复制下图画圈内容粘贴即可

url1=('https://www.kunnu.com/longzu/lz-3-2/')
#这里类似于模拟计算机对服务器发送请求
headers1={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.68'}

3通过parsel模块请求进行对网站进行解析成固定的形式

data=requests.get(url=url1,headers=headers1).text
#print(data)
data_1=parsel.Selector(data)
#print(data_1)

4在网页的源代码中，我们可以看出其标题和内容分别是放在title和href中，因此我们对其进行提取

titles = data_1.xpath('//div[@class ="book-list clearfix"]//ul/li/a/@title').getall()
hrefs = data_1.xpath('//div[@class ="book-list clearfix"]//ul/li/a/@href').getall()

5提取内容标签下的内容，在工程区域鼠标右键创建一个文件，对爬取的数据进行写入

for i in range(len(titles)):#对获取到的章节进行遍历，并循环print(titles[i],hrefs[i])resp = requests.get(hrefs[i])result = parsel.Selector(resp.text)#利用parsel对网页的数据进行解析并赋值ps = result.xpath('//div[@id ="nr1"]//p/text()').getall()#提取p标签下的文本信息# print(div)#对各章节的文本内容遍历text = ''for p in ps:print(p)# p = str(p).replace('\xa0','')text += (p + '\n')#提示循环，并添加换行操作#创建一个“龙族”的空文件，用以对数据进行写入with open("龙族/{}.txt".format(titles[i]),'w',encoding='utf-8') as f:f.write(text)#写入

6最后一下就是我们爬到的小说

总结

那么，通过简单的20行简答的代码，我们就对该网站的瞎说进行了爬取。小伙伴们也赶快试一下吧

python：利用20行代码爬取网络小说相关推荐

python爬虫-20行代码爬取王者荣耀所有英雄图片，小白也轻轻松松
1.环境 python3.6 需要用到的库: re.os.requests 2.简介王者荣耀可以算得上是比较受欢迎的手游之一了,应该有不少的人都入坑过农药,我们今天的目的就是要爬取王者荣耀的高清英雄 ...
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片下面开始上代码需要用到的库 import request #页面请求 import time #用于时间延迟 import re #正则表达式 ...
教你用python实现34行代码爬取东方财富网信息，爬虫之路，永无止境！！
教你用python实现34行代码爬取东方财富网信息,爬虫之路,永无止境!! 代码展示: 开发环境: windows10 python3.6 开发工具: pycharm weddriver 库: sel ...
简单20行代码爬取王者荣耀官网1080p壁纸
简单20行代码爬取王者荣耀官网1080p壁纸 # -*- coding: utf-8 -*- # @Time : 2020/12/13 18:08 # @Author : ningfangcong i ...
20行代码爬取王者荣耀全英雄皮肤！让你享受白嫖的快乐！
引言王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了.我们今天的重点是爬取王者荣耀所有英雄的所有皮肤,而且仅仅使用20行代码即可完成. 准备工作爬取皮肤 ...
一看就会的20行代码爬取豆瓣读书Top250
想入门Python爬虫,大家都喜欢拿爬取豆瓣读书Top250为例子来练手. 下面我就给大家分享一个简单的爬虫. 1.确定所需库首先我们要确定需要引入的库. 要爬取网页的数据,当然要发送请求啦,所以我 ...
python 20行代码爬取王者荣耀全英雄皮肤
引言王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了.我们今天的重点是爬取王者荣耀所有英雄的所有皮肤,而且仅仅使用20行Python代码即可完成. 准备工 ...
python爬取付费直播的视频_教你用20行代码爬取直播平台弹幕（附源码）
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
python获取虎牙弹幕_教你用20行代码爬取直播平台弹幕（附源码）
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...

python：利用20行代码爬取网络小说

文章目录

前言

一、爬虫是什么？

二、实现过程

总结

python：利用20行代码爬取网络小说相关推荐

最新文章

热门文章