1前言

这个小程序是用来爬取小说网站的小说的，一般的盗版小说网站都是很好爬取的

因为这种网站基本没有反爬虫机制的，所以可以直接爬取

该小程序以该网站http://www.126shu.com/15/下载全职法师为例

2.requests库

requests库非常得简单好用，他可以向网站发送请求，接收信息

最简单的一个例子即是

r = requests.get(url, timeout=30)

r.raise_for_status()

r.encoding = r.apparent_encoding

raise_for_status()的功能是若服务器发送404/502之类的错误码raise_for_status()便会抛出异常

r.encoding = r.apparent_encoding这一行语句用于调整编码，encoding为代码猜测出来的编码，可能并不准确

def get_html(url):

try:

r = requests.get(url, timeout=30)

r.raise_for_status()

r.encoding = r.apparent_encoding

return r.text

except:

return " HTMLERROR "

3.BeautifulSoup库

BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找

基本用法：

url_list=[]

soup = BeautifulSoup(html,'lxml')

lista = soup.find_all('dd')

找到dd元素的原因是通过F12开发者工具发现每个章节的链接都在该元素中存储

于是可以在每个元素中都可以找到该链接，然后把他放在要返回的列表中

for Url in lista:

try:

url_list.append('http://www.126shu.com/'+Url.a['href'])

except:

print('获取连接失败')

4.获取内容

前两步处理完毕后获取了每个章节的链接，接下来就是对每个章节的内容进行处理

通过F12开发者工具我们同样可以发现文本在哪，标题在哪，于是可以写出代码，然后打开文件进行写入

def get_content(url):

html = get_html(url).replace('
','\n')

soup = BeautifulSoup(html,'lxml')

try:

txt = soup.find('div',id='content').text

title = soup.find('div','hh').text

with open('全职法师.txt','a+',encoding = 'utf-8')as f:

f.write(title+'\n\n')

f.write(txt)

except:

print('ERROR')

5.完整代码

由于我只是下载后面的章节，于是在main()函数中我设置了n变量进行判断

import requests

import time

from bs4 import BeautifulSoup

def get_html(url):

try:

r = requests.get(url, timeout=30)

r.raise_for_status()

r.encoding = r.apparent_encoding

return r.text

except:

return " HTMLERROR "

def get_url(url):

url_list=[]

html = get_html(url)

soup = BeautifulSoup(html,'lxml')

lista = soup.find_all('dd')

for Url in lista:

try:

url_list.append('http://www.126shu.com/'+Url.a['href'])

except:

print('获取连接失败')

return url_list

def get_content(url):

html = get_html(url).replace('
','\n')

soup = BeautifulSoup(html,'lxml')

try:

txt = soup.find('div',id='content').text

title = soup.find('div','hh').text

with open('全职法师.txt','a+',encoding = 'utf-8')as f:

f.write(title+'\n\n')

f.write(txt)

except:

print('ERROR')

def main(url):

url_list=get_url(url)

n = 1

for Url in url_list:

n = n + 1

if n>1525:

get_content(Url)

url = 'http://www.126shu.com/15/'

if __name__ =='__main__':

main(url)