python 爬虫入门--抓取名著古籍

古诗文网中的名著古籍比较多，选取从这个网站上抓。

https://so.gushiwen.cn/guwen/

可以在上面选取任一个古籍，点击打开复制链接，然后在下面代码中替换相应古籍的链接。

下面代码中，抓取的是《西游记》：

# -*- coding: utf-8 -*-
"""
Created on Fri Mar 27 20:14:04 2020@author: zhen chenMIT Licence.Python version: 3.7Description: crawing chinese classical literature from gushiwen.cn"""import requests  # 联系网络的包，a package for requesting from websites
from bs4 import BeautifulSoup # 分析网页数据的包，a package for webstie data analysis
import time
import random# 获取网页信息
def get_url_content(url):headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'}  # 主要是模拟浏览器登录，防止反爬r = requests.get(url, headers=headers, timeout=30)  # 获取网页的内容，并返回给r变量，timeout 为超时时间r.raise_for_status() # 检查返回网页的内容的状态码，200表示成功r.encoding = r.apparent_encoding # 统一编码方式return r.text # 返回网页中的文本内容，数据内容为 r.content# 从网页中找到每一回的链接
def get_url_links(url_head_content):soup = BeautifulSoup(url_head_content, "lxml")  # 解析网页返回内容，lxml 是一个解码方式，效率比较快，被推荐使用links = soup.find('div', class_ = 'bookcont') # 每一回的链接都在类 span 里面links= links.findAll('span')link_list = []for each in links:link_list.append('https://so.gushiwen.cn' + each.a.get('href'))  # 获取每一回的链接，存储到列表里return link_list# 解析出网页中想要的信息，爬虫的关键步骤
def filter_info(chapter_num, url_text):soup = BeautifulSoup(url_text, "lxml")  # 解析网页返回内容，lxml 是一个解码方式，效率比较快，被推荐使用contents = soup.find('div', class_ = 'contson')# 使用 get_text 可以读取网页里面的换行，而 text 不能chapter_title = contents.find('p').get_text() # 第一句话是本回的标题chapter_titel = '第' + str(chapter_num) + '回 ' + chapter_title.lstrip()chapter_content = contents.get_text(separator="\n")  # find 返回的不是列表，不用跟 [0]chapter_content = chapter_content.lstrip()this_chapter = [chapter_titel, chapter_content]return this_chapter# 将每章内容输出到 txt 文档里
def write_txt(string_array):file_address = 'E:/爬虫练习/西游记/'   # txt 存放地址file_name = string_array[0]f = open(file_address+file_name+'.txt', 'w', encoding='utf-8') # 必须跟解码形式，不然有的网页中文内容写不到txt里f.write(string_array[1])f.close()# 主函数
def main():    url = 'https://so.gushiwen.cn/guwen/book_46653FD803893E4FBF8761BEF60CD7D9.aspx' # 古诗文网西游记网址url_head_content = get_url_content(url)  # 获取网页links = get_url_links(url_head_content)  # 获取每一回的链接地址for index, each in enumerate(links):url_link_content = get_url_content(each)  # 获取每一回的网页内容chapter_content = filter_info(index+1, url_link_content) # 解析每一回的网页内容，获取小说文本write_txt(chapter_content)  # 输出小说内容到 txttime.sleep(random.random()*2) # 每抓一个网页休息0~2秒，防止被反爬措施封锁 IPmain()

python 爬虫入门--抓取名著古籍相关推荐

python 爬虫入门--抓取红楼梦小说
爬虫抓取网页的三个基本步骤: 获取网页 html (用 request 包) 解析网页,找到我们想要的内容(用 beautifulsoup 包等) 输出内容找到一个在线红楼梦网址:https://w ...
python爬网页数据用什么_初学者如何用“python爬虫”技术抓取网页数据？
原标题:初学者如何用"python爬虫"技术抓取网页数据? 在当今社会,互联网上充斥着许多有用的数据.我们只需要耐心观察并添加一些技术手段即可获得大量有价值的数据.而这里的&quo ...
python抓取网页电话号码_利用正则表达式编写python 爬虫，抓取网页电话号码！...
利用正则表达式编写python 爬虫,抓取网页联系我们电话号码!这里以九奥科技(www.jiuaoo.com)为例,抓取'联系我们'里面的电话号码,并输出. #!/usrweilie/bin/pyth ...
Python爬虫实战---抓取图书馆借阅信息
Python爬虫实战---抓取图书馆借阅信息原创作品,引用请表明出处:Python爬虫实战---抓取图书馆借阅信息前段时间在图书馆借了很多书,借得多了就容易忘记每本书的应还日期,老是担心自己会违约 ...
python抓取视频违法吗,科学网—【python爬虫】抓取B站视频相关信息（一） - 管金昱的博文...
昨天我在B站上写了这么一篇文章,但是被他们锁住了.无奈之下我复制到知乎上先保存起来在这篇名为<三天学会用python进行简单地爬取B站网页视频数据>文章中我主要提到了两点在已知aid的情 ...
Python爬虫采集抓取：Python3.x+Fiddler 采集抓取 APP 数据
随着移动互联网的市场份额逐步扩大,手机 APP 已经占据我们的生活,以往的数据分析都借助于爬虫采集爬取网页数据进行分析,但是新兴的产品有的只有 APP,并没有网页端这对于想要提取数据的我们就遇到了些问 ...
python爬虫_抓取瓦片图片信息并将其拼接_以mapbar为例（适用交通工程类专业）
python爬虫_抓取瓦片图片信息并将其拼接_以mapbar为例(适用交通工程类专业) 这次就以mapbar为例爬取道路交通拥堵情况第一步,瓦片标号解析第二步,拼url,然后下载第三步,图片拼接 ...
Python爬虫：抓取智联招聘岗位信息和要求（进阶版）
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于腾讯云作者:王强 ( 想要学习Python?Python学习交流群 ...
python 爬虫数据抓取的三种方式
python 爬虫数据抓取的三种方式常用抽取网页数据的方式有三种:正则表达式.Beautiful Soup.lxml 1.正则表达式正则表达式有个很大的缺点是难以构造.可读性差.不易适用未来 ...

python 爬虫入门--抓取名著古籍

python 爬虫入门--抓取名著古籍相关推荐

最新文章

热门文章