笔趣阁小说站的爬虫小程序

从笔趣阁（www.biquge.com.tw）爬取整本小说的内容，写入txt文件。

再也不用到处找地方下载了，省的遭遇各种不靠谱。

代码如下：

import urllib.request
from bs4 import BeautifulSoup
import urllib.parseprint('\n笔趣阁小说爬虫小程序\n\n')
o_url='http://www.biquge.com.tw'
novelname=input('本程序不支持模糊查询，请输入正确的小说名称：\n')
if novelname=='':print('未输入小说名称，默认爬取中...')novelname='余罪'
b_novelname=novelname.encode('gbk')
url_novelname=urllib.parse.quote(b_novelname)
url_pre='http://www.biquge.com.tw/modules/article/soshu.php?searchkey=+'
url=url_pre+url_novelname
#print(url)
page=urllib.request.urlopen(url).read().decode('GB18030')
soup=BeautifulSoup(page,'lxml')
n=0
bookname=soup.select('#info > h1')
if bookname==[]:print('未找到图书。')
else:print('找到图书：%s。'% bookname[0].text)print('爬取中...')filename=str(bookname[0].text)+'.txt'fo=open(filename,'w',encoding='utf-8')print('文件将保存至',filename)while True:n+=1link=soup.select('#list > dl > dd:nth-of-type(%s)'% n)if len(link)==1:for i in link[0]:c_url=o_url+i['href']c_page=urllib.request.urlopen(c_url).read().decode('GB18030')c_soup=BeautifulSoup(c_page,'lxml')c_text=c_soup.select('#content')text_0=c_text[0]fo.write('\n\n')fo.write(i.text)fo.write('\n')fo.write(text_0.text)print('正在爬取章节：',i.text)else:breakprint('%s 爬取完毕！'% bookname[0].text)fo.close()

笔趣阁小说站的爬虫小程序相关推荐

笔趣阁小说-圣墟-爬虫源代码
import re import requests from bs4 import BeautifulSoupurl = 'http://www.biquge6.com/19_19336/' r = ...
Python爬虫--笔趣阁小说爬取
Python爬虫–笔趣阁小说爬取爬虫用到的插件 import requests from lxml import etree 小说目录页以小说"我有百万技能点"为例,在笔趣阁搜 ...
【Python项目】Python基于tkinter实现笔趣阁小说下载器（附源码）
前言 hello,大家好呀~ 笔趣阁小说应该很多小伙伴都知道但是用Python实现一个笔趣阁小说下载器那岂不是爽歪歪呀基于tkinter实现的Python版本的笔趣阁小说下载器今天小编给大家实现 ...
爬虫练习-爬取笔趣阁小说
练习一下爬虫,将笔趣阁的小说根据需求目标再爬取下来,本文仅仅学习爬虫技术,大家还是要支持一下正版网站的思路: Created with Raphaël 2.2.0开始输入书名查询小说是否存在跳转页面 ...
Python爬虫之爬取笔趣阁小说下载到本地文件并且存储到数据库
学习了python之后,接触到了爬虫,加上我又喜欢看小说,所以就做了一个爬虫的小程序,爬取笔趣阁小说. 程序中一共引入了以下几个库: import requests import mysql.conn ...
Python爬虫练习（一）爬取新笔趣阁小说（搜索+爬取）
爬取笔趣阁小说(搜索+爬取) 首先看看最终效果(gif): 实现步骤: 1.探查网站"http://www.xbiquge.la/",看看网站的实现原理. 2.编写搜索功能(获取每 ...
python3+正则(re)增量爬虫爬取笔趣阁小说( 斗罗大陆IV终极斗罗)
python3+re 爬虫爬取笔趣阁小说斗罗大陆IV终极斗罗爬取前准备导入的模块分析正则的贪婪与非贪婪附完整代码示例爬取前准备导入的模块 import redis #redis数据库 ...
java爬虫爬取笔趣阁小说
java爬虫爬取笔趣阁小说 package novelCrawler;import org.jsoup.Connection; import org.jsoup.HttpStatusException ...
Python爬虫：笔趣阁小说搜索和爬取
目录 0x00 写在前面 0x01 搜索页面 0x02 章节获取 0x03 章节内容获取 0x04 完整代码 0x00 写在前面最近开始学习Python的爬虫,就试着写了写笔趣阁小说的爬虫,由于是初 ...

笔趣阁小说站的爬虫小程序

笔趣阁小说站的爬虫小程序相关推荐

最新文章

热门文章