爬虫晋江小说python_python 爬虫入门之爬小说
##第一步 导包
from bs4 import BeautifulSoup
import requests
import sys
##准备
class downloder(object):
def __init__(self):
self.server = 'http://www.biqukan.com'
self.target = 'http://www.biqukan.com/1_1094/'
self.names = [] #存放章节名字
self.urls = [] #存放章节链接
self.nums = 0 # 章节数量
def get_download_url(self):
req = requests.get(url=self.target)
html = req.text
div_bf = BeautifulSoup(html)
div = div_bf.find_all('div',class_='listmain')
a_bf = BeautifulSoup(str(div[0]))
a = a_bf.find_all('a')
self.nums = len(a[15:])
for eatch in a[15:]:
self.names.append(eatch.string)
self.urls.append(self.server +eatch.get('href'))
def writer(self ,name,path,text):
write_flag = True
with open(path,'a',encoding='utf-8') as f:
f.write(name +'\n')
f.writelines(text)
f.writelines('\n\n')
def get_contents(self,target):
req = requests.get(url=target)
html = req.text
bf = BeautifulSoup(html)
texts = bf.find_all('div',class_ = 'showtxt')
texts = texts[0].text.replace( '\xa0'*8,'\n\n')
return texts
if __name__ == '__main__':
dl = downloder()
dl.get_download_url()
print('开始下载')
for i in range(dl.nums):
dl.writer(dl.names[i],'用点.txt',dl.get_contents(dl.urls[i]))
print("下载完成")
参考华哥的内容... 还有好多不懂
http://cuijiahua.com/blog/2017/10/spider_tutorial_1.html
爬虫晋江小说python_python 爬虫入门之爬小说相关推荐
- python爬收费小说_使用python+selenium爬小说
图片来源网络 写在前面 最近在学习python,总想着自己动手弄一个简单一点的程序.于是想到了使用python和selenium爬小说 说起小说,想起了自己的一段"过往". 我以前 ...
- 用python爬小说_使用python+Scrapy爬小说
图片来源网络 写在前面 最近在学习python,不得不说python真是好用,至少生成程序的速度快,语法也比较简单 ヾ(◍°∇°◍)ノ゙ 感觉很强大,之前怎么就没有想到学一下这个呢,如果大学抢课的时候 ...
- 爬虫怎么处理python_python 爬虫怎么处理json内容
慕盖茨1488219 import requestsurl = 'http://query.sse.com.cn/commonSoaQuery.do?siteId=28&sqlId=BS_GG ...
- python爬虫怎么爬小说_python从爬虫基础到爬取网络小说实例
一.爬虫基础 1.1 requests类 1.1.1 request的7个方法 requests.request() 实例化一个对象,拥有以下方法 requests.get(url, *args) r ...
- 浏览器里面看到的表单数据映射到python_python爬虫入门01:教你在 Chrome 浏览器轻松抓包...
通过 python爬虫入门:什么是爬虫,怎么玩爬虫? 我们知道了什么是爬虫 也知道了爬虫的具体流程 那么在我们要对某个网站进行爬取的时候 要对其数据进行分析 就要知道应该怎么请求 就要知道获取的数据是 ...
- NodeJs ES6 写简单爬虫 爬小说网站《我当方士那些年》
个人网站地址 www.wenghaoping.com Vue + express + Mongodb构建 请大家多支持一下. 先上代码,然后在慢慢逼逼 Git地址,有需要的Clone ==先从小说网站 ...
- python爬虫爬取豆瓣电影信息城市_Python爬虫入门 | 2 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
- 【Python爬虫系列教程 28-100】小姐姐带你入门爬虫框架Scrapy、 使用Scrapy框架爬取糗事百科段子
文章目录 Scrapy快速入门 安装和文档: 快速入门: 创建项目: 目录结构介绍: Scrapy框架架构 Scrapy框架介绍: Scrapy框架模块功能: Scrapy Shell 打开Scrap ...
- [python爬虫之路day19:] scrapy框架初入门day1——爬取百思不得姐段子
好久没学习爬虫了,今天再来记录一篇我的初入门scrapy. 首先scrapy是针对大型数据的爬取,简单便捷,但是需要操作多个文件以下介绍: 写一个爬虫,需要做很多的事情.比如: 发送网络请求, 数据解 ...
- Python爬虫入门(爬取豆瓣电影信息小结)
Python爬虫入门(爬取豆瓣电影信息小结) 1.爬虫概念 网络爬虫,是一种按照一定规则,自动抓取互联网信息的程序或脚本.爬虫的本质是模拟浏览器打开网页,获取网页中我们想要的那部分数据. 2.基本流程 ...
最新文章
- 谷歌提出「卷积+注意力」新模型,超越ResNet最强变体!
- 程序员 35 岁就该退休了吗?
- RESTful再理解
- 操作系统原理第五章:CPU调度
- 错误契约(FaultContract)与异常处理(转)
- 公文排版字体要求以及印制要求
- Sqlserver 特殊字符替换
- 显卡天梯图2022最新排名
- 思科网络学习笔记 | 路由概念
- 如何查询GPU卡每个block支持的最大thread(线程)数
- 魔百盒CM201-2,(ys)卡刷固件及教程
- jQuery实现跑马灯
- 云边协同的智能制造系统
- 如何将图片格式转换为ico格式
- 工作简历写些什么比较好? 优秀的求职简历模板包括哪些内容
- 一人批量管理多个微信群,有什么好用的社群管理工具?
- VC获取系统空闲时间
- C语言之指针总结(1)
- Spring Cloud整合Websocket(SockJs Stomp方式)
- 思科系统公司(Cisco Systems, Inc.)