一、序言

从爬虫开始学习python，能接触很多基础类型，很久没有写python，脑袋里全是记忆碎片，乘这个时间把之前的东西慢慢拾兜一下，做个记录，基础的同学可以看看。

二、Html样例Demo

Ajax接口样例

        <div class="layout layout-col1"><div class="section-box"><ul class="section-list fix"><h2 class="layout-tit">《九阳剑圣》正文</h2><li class="book-item"><a href="140184.html">第一章：九阳穿越（上）</a></li><li class="book-item"><a href="140185.html">第一章：九阳穿越（下）</a></li><li class="book-item"><a href="140186.html">第二章：神秘老头（上）</a></li><li class="book-item"><a href="140187.html">第二章：神秘老头（下）</a></li><li class="book-item"><a href="140188.html">第三章：初习武道</a></li><li class="book-item"><a href="140189.html">第四章：继承掌门之位</a></li><li class="book-item"><a href="140190.html">第五章：许配爱女</a></li><li class="book-item"><a href="140191.html">第六章：师父，我走了</a></li><li class="book-item"><a href="140192.html">第七章：万里之行，遭遇</a></li><li class="book-item"><a href="140193.html">第八章：绝色娇娃</a></li><li class="book-item"><a href="140194.html">第九章：云霄城主</a></li><li class="book-item"><a href="140195.html">第十章：骄傲与野性</a></li><li class="book-item"><a href="140196.html">第十一章：焰焰许配你，如何？</a></li><li class="book-item"><a href="140197.html">第十二章：阳顶天的选择</a></li><li class="book-item"><a href="140198.html">第十三章：分别，贵重礼物</a></li><li class="book-item"><a href="140199.html">第十四章：上阴阳宗</a></li><li class="book-item"><a href="140200.html">第十五章：说东方冰凌</a></li><li class="book-item"><a href="140201.html">第十六章：到阴阳宗</a></li><li class="book-item"><a href="140202.html">第十七章：拜见师娘</a></li><li class="book-item"><a href="140203.html">第十八章：初见冰凌，心动时刻</a></li><li class="book-item"><a href="140204.html">第十九章：独处，甜美时刻</a></li><li class="book-item"><a href="140205.html">第二十章：你喜欢我吗？阳师兄</a></li><li class="book-item"><a href="140206.html">第二十一章：婚约！</a></li><li class="book-item"><a href="140207.html">第二十二章：我若能活</a></li><li class="book-item"><a href="140208.html">第二十三章：被救</a></li><li class="book-item"><a href="140209.html">第二十四章：你该千刀万剐！</a></li><li class="book-item"><a href="140210.html">第二十五章：绝世之战（上）</a></li><li class="book-item"><a href="140211.html">第二十六章：绝世之战（下）</a></li><li class="book-item"><a href="140212.html">第二十七章：东方冰凌之剑！</a></li><li class="book-item"><a href="140213.html">第二十八章：再见，东方冰凌</a></li><li class="book-item"><a href="140214.html">第二十九章：婚礼，拜堂</a></li><li class="book-item"><a href="140215.html">第三十章：血誓！焰焰的心</a></li><li class="book-item"><a href="140216.html">第三十一章：相处！回云霄城</a></li><li class="book-item"><a href="140217.html">第三十二章：效忠！云霄城内</a></li><li class="book-item"><a href="140218.html">第三十三章：城主之位</a></li><li class="book-item"><a href="140219.html">第三十四章：师父显神</a></li><li class="book-item"><a href="140220.html">第三十五章：东方涅灭神识</a></li></ul></div></div></div>
</div>

章节样例

<div class="container" id="container"><div class="row row-detail row-reader"><div class="layout layout-col1"><div class="layout-tit xs-hidden"><a href="/">三七中文</a> &gt; <a href="/0/301/">九阳剑圣</a> &gt; 正文 第一章：九阳穿越（下）<script>textselect();</script></div><div class="reader-main"><h1 class="title">第一章：九阳穿越（下）</h1><div class="section-opt"><a href="140184.html">上一章</a><span class="xs-hidden">← </span><a href="/0/301/">章节列表</a><span class="xs-hidden">→</span><a href="140186.html">下一页</a></div><script language="javascript">style_top();</script><div class="content" id="content"><p>冰柱里面有东西？！</p><p>阳顶天一阵兴奋，赶紧凑上前去仔细看，还是看不大清楚。整个洞穴内唯独中央的这根冰是蓝色不透明的。此时尽管被阳顶天融化了很大部分，却依旧不怎么透明，看不见里面究竟是什么东西。</p><p>阳顶天赶紧上前，伸手环抱住那根冰柱，顿时也忍不住被冻得一阵哆嗦。还真亏得阳顶天的九阳之躯了，真的是如同火炉一般，换成其他人直接就被冻坚硬了。</p><p>越到后面越冰，最后已经几乎完全无法忍受了。</p><p>就这么抱着冰柱几个小时，每半个小时阳顶天就歇一歇，冰柱一寸一寸地融化进去，越往里面真的越是冰寒，到最后阳顶天几乎都有些痛苦难耐。</p><p>五个小时后，阳顶天已经在瑟瑟发抖，眼前一阵阵发黑，几乎要完全昏厥过去。明明知道这样抱下去就会有生命危险了，但阳顶天姓格倔强，不达目的不罢休，硬生生坚持下去。</p><p>“里面竟然是一个人？”阳顶天顿时一阵振奋，冰柱终于被融化得差不多了，变得完全透明。</p><p>真是奇怪，竟然会有人被冰封在这千米之下的洞穴内。</p><p>这是一个老头，头发和胡须完全发白，乱蓬蓬如同杂草一般。整张面孔完全是褶皱，已经老得看不出年纪。身上的衣服又脏又旧，除了没有破洞，和乞丐身上的衣服没什么区别。露在外面的双手，又瘦又干如同死树的枯枝一般。这老头从头到尾，甚至每一根发梢都流露出灰败的气息。</p><p>阳顶天微微有些失望，这个人应该已经死了很久很久了，也被冰封了很久很久了。至于为什么会被封在这寒冰里面就不得而知了。</p><p>不过做事做到底，尽管里面的这个人应该已经死了，但阳顶天还是决定将他弄出来。</p><p>于是，阳顶天强忍着刺骨的严寒，再次抱住这根恐怖酷寒的冰柱，浑身瑟瑟发抖。</p><p>这最后的融化真的是对意志的极限考验，那种冰寒已经完全难以用言语来形容。终于阳顶天承受不住，眼睛一黑直接要昏厥过去。</p><p>“咔嚓……”与此同时，一阵清脆的碎裂声，那个老头身上最后一层冰彻底碎裂，粗大的冰柱彻底消失。</p><p>刺骨的冰寒停止了，阳顶天身体渐渐恢复了热量，只不过暂时无法动弹，阳顶天就这么靠在那个老头的身上，鼻子内尽是对方[***]的气味，虽然不算很臭，但是却比别的臭味更加让人难以忍受。</p><p>忽然！眼前这个老头猛地睁开双目！让阳顶天猛地一惊。</p><p>这是诈尸了吗？他不是已经死了吗？</p><p>紧接着，这个灰败老头猛地伸出枯瘦的手掐住阳顶天的脖子，长长的指甲如同刀刃一般刺在他的大动脉上，浑浊的眼球射出冰冷的寒芒，衰老的面孔充满了愤怒，对着阳顶天吼出了一句话。</p><p>声音如同用刀子刮过墙壁一般刺耳难受。但是，他说的话阳顶天完全听不懂，根本就是阳顶天从未知道的语言。</p><p>见到阳顶天没有反应，这个老朽非常愤怒生气，将之前的话再重复了一遍，听语气仿佛是在逼问阳顶天。</p><p>“我，我根本听不懂您在说什么啊？”阳顶天勉力道。</p><p>听到阳顶天回话，老朽非常激动，接连又问了好几句话，然后将丑陋垂老的面孔逼近，一连串逼问阳顶天，与此同时指甲狠狠刺入阳顶天的脖子。</p><p>阳顶天顿时觉得一阵刺痛，鲜血从脖子上流了下来。阳顶天此时力气耗尽，根本无力动弹。</p><p>接着，这个老头又逼问了一句。</p><p>阳顶天苦笑道：“老先生，我真的真的不知道您在说什么啊？”</p><p>老头暴怒，长长的指甲在阳顶天的脖子上猛地一划，顿时一道深深的血口，皮肉翻开，鲜血汹涌而出。然后又逼问了一句，阳顶天依旧听不懂。</p><p>老头怒火冲天，两支手狠狠掐住阳顶天的脖子，用阴冷的口气最后一次逼问。</p><p>虽然听不懂老头的话，但是阳顶天也明白老头说的话大概意思是，假如他再不说的话，对方就要活活掐死他了。</p><p>阳顶天顿时一阵苦笑道：“我冒着生命危险救你，却要被你活活掐死，真是何苦来由。”</p><p>老头也不懂阳顶天再说什么，但是很显然没有得到他想要的答案，顿时脸上露出一道残忍的冷笑，然后双手一紧，冰冷的枯手掐住他的脖子越来越紧。</p><p>阳顶天渐渐无法呼吸，眼睛渐渐凸出，舌头伸出了嘴外。连后悔的力气都没有了，好不容易救出来这个老头，却要被对方活活掐死。</p><p>“我可以死，但绝对不能这样不明不白窝囊地死。”阳顶天咬着牙，充满不甘的身体深处不知道从哪里涌出来的力气，猛地一脚提出。</p><p>“砰……”一脚踢在老头的胸口。</p><p>“咔嚓……”一阵清晰的折断声，仿佛枯枝被踩断的声音，老头的肋骨被踢断了。阳顶天的力气其实并不大，但是老头已经油尽灯枯，骨头又脆又干，就这么轻易被踢断了，而且整个身体也被踢倒了，双手自然也脱离了阳顶天的脖子，看来掐住阳顶天的脖子已经是老头最后的力气了。</p><p>阳顶天赶紧双手双脚并用，快速地后退，远远地脱离这老头，最后背靠着洞壁，大口大口喘着气，一边看着身上的伤口，一边警惕地用余光望着这个恐怖的老头。</p><p>身上的几道伤口已经止血了，不过此时真是火辣辣的疼。不过这个洞穴太小了，想要完全远离这个疯狂老头的是不可能的。</p><p>阳顶天一边喘息一边积攒着力气，一边盯着那个危险的老头，只要他敢再次冲上来行凶的话，就不要怪他不客气了。</p><p>但是那老头被阳顶天踢倒之后，有可能胸口被踢伤了，从嘴里吐出两口黑红色的血，然后双手撑着地面想要努力坐起来，但是努力了很多次都失败了。</p><p>好像，好像他全身上下，就只有一双手能动，其他地方都不能动了，所以怎么都坐不起来。</p><p>努力了许多遍之后依旧失败，老头暴怒，发出一阵阵怒吼，双手拼命捶击冰面，顿时胸前伤口受创，又吐出几口黑色的血，双手捶打冰面也顿时变得血肉模糊。</p><p>然后，他放弃了，仰面躺在冰面上开始破口大骂。当然阳顶天听不懂他在骂什么，但是声音里面充满了仇恨和悲愤，让阳顶天都不由得受到了感染。</p><p>“这个老头也很可怜。”阳顶天忍不住涌起一阵同情。</p><p>最后，老头也不骂了，就躺在冰面上一声不响。胸前的断骨或许戳入肉里面，胸前已经高高肿起。一开始老头还在呼吸，胸口一起一伏，最后仿佛连呼吸也没有了。</p><p>尽管知道这个时候过去很危险，但阳顶天还是没有忍住，缓缓地走了过去。</p><p>远远地隔着一段距离，阳顶天轻轻地踢了踢那老头，对方没有任何反应。阳顶天有上前一步，摸了摸他的颈部动脉，还有跳动，但已经极其微弱了。</p><p>阳顶天上前，用力将老头扶起，然后解开老头的衣衫查看他胸前的伤口。</p><p>他的右胸肋骨被阳顶天踢断了，他已经瘦得如同人干一样，完全是一层皮包着上面的肋骨，所以断掉的那两根肋骨都看得清清楚楚，其中一根尖尖的骨刺刺在了肉里，瘦得只剩一层皮的右胸膛肿起足足有几寸高，又青又紫，看起来非常可怕。</p><p>阳顶天利用粗浅的急救知识帮忙老头将断骨勉强正好了位置，整个过程中，因为刺骨的疼痛，老头身躯颤抖了几下，却依旧没有醒过来。</p><p>幸好断掉的两根肋骨没有断成好几截，但阳顶天为他调整断骨还是很辛苦，在这冰天雪地里面，阳顶天甚至渗出了细汗。</p><p>忽然！阳顶天眼前一痛，只见到两根长长锋利的指甲顶在自己的眼珠子面前，只要自己稍稍一栋，这两根锋利指甲就会刺入自己的眼球，将自己彻底刺瞎。</p><p>不知道什么时候，这个老头竟然醒过来了，见到阳顶天的目光望来，顿时发出一阵残忍的冷笑。此时的长指甲上还带着阳顶天的血肉，配上他阴森残忍的面孔，显得尤其的恐怖。</p><p>阳顶天顿时紧张得屏住呼吸，然后垂下目光，继续为老头正骨，仿佛完全不知道对方要戳瞎自己一般。</p><p>但是，为他正骨的时候，双手还是有些颤抖，阳顶天再次长长喘息一口，双手停止了颤抖，然后认真地调整老头胸前的断骨。</p><p>他的这种行为没有获得任何回报，老头反而给了一阵充满嘲讽的冷笑，仿佛在嘲笑阳顶天的虚伪和狡诈。</p><p>阳顶天没有理会，继续认真救治老头。</p><p>老头的指甲缓缓用力，锋利的指甲一点点刺入阳顶天的肉里面，如同锋利的刀刃一般一毫米一毫米刺了进去。</p><p>刺入脖子的指甲已经进入了近一厘米了，已经刺穿了外层的皮肉，很快就要刺到阳顶天的眼球了。</p><p>阳顶天的目光一缩，右手缓缓成拳，下一秒钟他就猛地一拳将老头胸前断骨砸入心脏，彻底让老头瞬间毙命！</p><p>但是，老头却忽然停住了，反而将刺入他皮肉的指甲拔了出来，然后缓缓闭上了眼睛，任由阳顶天施为。</p><p>阳顶天长长呼了一口气，平静一下乱跳的心脏，然后继续救治老头。</p><p>最后，为老头调整好了断骨，然后用衣服小心包扎好。尽管这样做实在太粗糙了，但实在没有办法，洞穴里面连一根木头都没有。</p><p>做好一切后，阳顶天又退避三舍，退到距离老头最远的地方，靠着洞壁坐下。</p><p>而这个危险的老头，闭着眼睛一动不动。;</p></div><script language="javascript">style_end();</script><div class="section-opt m-bottom-opt" style="margin: 0px; top: 0"><a href="140184.html">上一章</a><span class="xs-hidden">← </span><a href="/0/301/">章节列表</a><span class="xs-hidden">→</span><a href="140186.html">下一页</a></div></div></div></div></div>

三、代码

安装导入包

pip install requests
pip install parsel

parsel包

parsel是对 HTML 和 XML 进行解析库，是一个python的第三方库，相当于css选择器+xpath+re。
Parsel官网
无论是使用css选择器，还是xpath，re，都需要先创建一个parsel.Selector对象

selector = Selector(html)  # 初始化Selector()对象

创建了Selector对象之后，可以进行xpath、css的任意切换
实际上使用css进行获取节点，最终也是转换成xpath进行查询

将xpath()函数查询到的结果转换为字符串或者列表，需要使用下列函数：
get()：将css() 查询到的第一个结果转换为str类型
getall()：将css() 查询到的结果转换为python的列表

代码Demo

import requests
import parseldef get_link():url = "https://www.777zw.net/0/301/"all_html = requests.get(url).content.decode('UTF-8')selector = parsel.Selector(all_html)items = selector.xpath('//ul[@class="section-list fix"]/li/a')link_list = []for i in items:href_link = i.xpath('./@href').get()chapter_link = url + href_linklink_list.append(chapter_link)return link_listdef chapter_info(chapter_url):# chapter_url = "https://www.777zw.net/0/301/140185.html"html = requests.get(chapter_url).content.decode('utf-8')selector = parsel.Selector(html)'''获取章节title'''chapter_title_info = selector.xpath('//h1[@class="title"]')chapter_title = chapter_title_info.xpath('./text()').get()'''chapters_info_list 获取div标签下id为content的所有p标签，返回的是一个列表paragraphs_info 获取p标签里的文本内容使用./text()'''chapters_info_list = selector.xpath('//div[@id="content"]/p')paragraphs_list = []for i in chapters_info_list:paragraphs_info = i.xpath('./text()').get()paragraphs_list.append(paragraphs_info)paragraphs = ''.join(paragraphs_list)# return chapter_title,paragraphswith open("xiaoshuo" + '.txt', mode='a', encoding='utf-8') as f:f.write(chapter_title)f.write('\r\n')f.write(paragraphs)f.write('\r\n')if __name__=="__main__":url_all = get_link()for chapter_url in url_all:chapter_info(chapter_url)

验证

乱码问题

python response乱码requests.get(url).text -> requests.get(url).content前者需要用encode进行编码后用decode解码，后者直接可以解码万能方法：requests.get(url).text.encode('iso-8859-1').decode('utf-8/gbk')
author:xinyiliu

python 三七小说爬虫小记相关推荐

Python顶点小说爬虫（《三寸人间》爬取）
Python顶点小说爬虫(<三寸人间>爬取) 获取整个页面 import requests from bs4 import BeautifulSoup url = "https: ...
python修饰器太难搞_【Python】小说爬虫界面版(各种BUG已修复)
[Python] 纯文本查看复制代码import tkinter as tk import re import urllib.request import os import time from u ...
python爬虫小说代码示例-中文编程，用python编写小说网站爬虫
原标题:中文编程,用python编写小说网站爬虫作者:乘风龙王原文:https://zhuanlan.zhihu.com/p/51309019 为保持源码格式, 转载时使用了截图. 原文中的源码块 ...
python爬虫小说代码示例-Python从零开始写爬虫-4 解析HTML获取小说正文
Python从零开始写爬虫-4 解析HTML获取小说正文在上一节中, 我们已经学会如何获取小说的目录, 这一节我们将学习如何通过正则表达式(在第二节学习过)来获取小说正文. 首先, 先随便选择一个章 ...
python 小说爬虫_Python实现的爬取小说爬虫功能示例
本文实例讲述了Python实现的爬取小说爬虫功能.分享给大家供大家参考,具体如下: 想把顶点小说网上的一篇持续更新的小说下下来,就写了一个简单的爬虫,可以爬取爬取各个章节的内容,保存到txt文档中,支 ...
简单 python 小说爬虫 ultimate
简单 python 小说爬虫想爬就爬带txt配置文件 day01(半成品) 划掉 - day02(成品) 书名史上第一剑修笔趣阁 url代码里找 ####################### ...
python 小说小说_python潇湘书院网站小说爬虫
很久没有写爬虫了,最近接到一个抓取小说的项目顺便做此纪录练练手,之后工作中可能也会有部分场景要用到爬虫,爬取竞争对手进行数据分析什么的. 目标网站:潇湘书院环境准备: python3 request ...
python爬小说代码_中文编程，用python编写小说网站爬虫
原标题:中文编程,用python编写小说网站爬虫作者:乘风龙王原文:https://zhuanlan.zhihu.com/p/51309019 为保持源码格式, 转载时使用了截图. 原文中的源码块 ...
python超简单超基础的免费小说爬虫
python超简单超基础的免费小说爬虫需要准备的环境选取网页思路代码总结需要准备的环境 1.python 3.0及以上皆可 2.requests库,os,re 选取网页找一个免费的小说网 ...

python 三七小说爬虫小记