python一个下载小说的简易爬虫

最近再看python核心编程(第二版)，看到关于文件的操作时闲着无聊，便写了一个下载小说的简易爬虫。小说名字为《雪中悍刀行》基本上就是我最喜欢的一部小说了。(感觉写书后面的关于文件的题没意思，便写了一个）小说网址

首先要用到一个库是BeautifulSoup库，两个模块分别是urllib模块和os模块。
思路如下：首先我们要获得所有小说的url

<div id="list"><dl><dt>《雪中悍刀行》正文</dt><dd><a href="390279.html">第一章 小二上酒</a></dd><dd><a href="390280.html">第二章 白狐儿脸</a></dd><dd><a href="390281.html">第三章 两个酒窝</a></dd><dd><a href="390282.html">第四章 去那座山摘山楂</a></dd><dd><a href="390283.html">第五章 天下第一美人</a></dd><dd><a href="390284.html">第六章 走一个</a></dd>
...

如果打开小说网址并观看网页源代码你会发现有中文，这时候我们在获取网页的html时要把中文忽略掉original_url_html = response_original_url.read().decode('gbk', 'ignore')。然后就是用BeautifulSoup库来定位到小说各个章节的url。for a in original_url_soup.find(id = "list").find_all('a')，观看网页源码你会发现a标签里的href属性只包含了390284.html，我们要再加上小说网址的url才会是各个章节的url。url = original_url + str(a.get('href'))
获取了各个章节的url之后我们就要来把各个章节中关于小说的文字部分存到文件里面，如何保存？

<div id="content">&nbsp;&nbsp;&nbsp;&nbsp;龙门客栈来了位绝代风华的美人，成了这两曰陵州城仅次于世子殿下游历归来的重大消息。<br /><br />&nbsp;&nbsp;&nbsp;&nbsp;前去猎奇的人差点踏破了客栈门槛，生意火爆，每当那位果然绝色的美人出房进餐就食，更是挤满了一睹风光的逛荡子，一开始只是年轻纨绔参与其中，后来上了年数在床铺上心有余而力不足的富贾也来欣赏美色，一致大叹秀色可餐。<br /><br />&nbsp;&nbsp;&nbsp;&nbsp;好事者都说这位姑娘比陵州头号花魁鱼幼薇鱼娘子还要动人几分，一些个走出过陵州见过世面的老爷也都说这辈子没见过如此娇艳的女子，更有才子砸下重金挤破脑袋进了客栈占据好位置，抿一口酒，怀着酒不醉人...</div>

上面是小说各个章节关于小说文字部分的网页源码。要用for each in chapter_url_soup.find(id = "content").strings:来获取一个章节中的每一行文字，注意一下这里最后用的是.strings在后面的完整代码中你会见到.string关于这两个的区别可以点这里查看。在这里我们如果要把每行文字写入文件的话要用到os模块f.write('%s%s' % (each.replace('\xa0', ''), os.linesep))os.linsep会自动为你换行。

下面就是完整代码


from bs4 import BeautifulSoup
import urllib.request
import osdef handlechapter(url):response = urllib.request.urlopen(url)html = response.read().decode('gbk', 'ignore')return htmlf = open('存小说的文件路径', 'w', encoding='utf-8')
original_url = 'http://www.37zw.net/0/761/'
response_original_url = urllib.request.urlopen(original_url)
original_url_html = response_original_url.read().decode('gbk', 'ignore')
original_url_soup = BeautifulSoup(original_url_html, 'html.parser')
for a in original_url_soup.find(id = "list").find_all('a'):chaptername = a.string#注意下这里用的是.string前面已经提到过和.strings有所区别#print('准备下载' + chaptername)f.write('\n' + chaptername + '\n')#为了美观一点要在章节名字的前后都要换行的#url = original_url + str(a.get('href'))html = handlechapter(url)chapter_url_soup = BeautifulSoup(html, 'html.parser')for each in chapter_url_soup.find(id = "content").strings:f.write('%s%s' % (each.replace('\xa0', ''), os.linesep))print('成功下载' + chaptername)
f.close()

变量名字有点长，看着不是很美观，尴尬了。

准备下载第一章 小二上酒
成功下载第一章 小二上酒
准备下载第二章 白狐儿脸
成功下载第二章 白狐儿脸
准备下载第三章 两个酒窝
成功下载第三章 两个酒窝
准备下载第四章 去那座山摘山楂
成功下载第四章 去那座山摘山楂
准备下载第五章 天下第一美人
成功下载第五章 天下第一美人
准备下载第六章 走一个
成功下载第六章 走一个
准备下载第七章 武媚娘望城头
成功下载第七章 武媚娘望城头
准备下载第八章 东魁
成功下载第八章 东魁
...

要注意的是代里没有添加异常处理机制很可能会中断的。不过异常处理机制还没看到就先不管了。

第一章 小二上酒
（每一个钟头上传一章，直到传完二十章！红票和收藏别忘了～）北凉王府龙盘虎踞于清凉山，千门万户，极土木之盛。作为王朝硕果仅存的异姓王，在庙堂和江湖都是毁誉参半的北凉王徐骁作为一名功勋武臣，可谓得到了皇帝宝座以外所有的东西，在西北三州，他就是当之无愧的主宰，只手遮天，翻云覆雨。难怪朝廷中与这位异姓王政见不合的大人们私下都会文绉绉骂一声徐蛮子，而一些居心叵测的，更诛心地丢了顶“二皇帝”的帽子。今天王府很热闹，位高权重的北凉王亲自开了中门，摆开辉煌仪仗，迎接一位仙风道骨的老者，府中下人们只听说是来自道教圣地龙虎山的神仙，相中了痴痴傻傻的小王爷，要收作闭关弟子，这可是天大的福缘，北凉王府都解释成傻人有傻福。可不是，小王爷自打出生起便没哭过，读书识字一窍不通，六岁才会说话，名字倒是威武气派，徐龙象，传闻还是龙虎山的老神仙当年给取的，说好十二年后再来收徒，这不就如约而至了。王府内一处院落，龙虎山师祖一级的道门老祖宗捻着一缕雪白胡须，眉头紧皱，背负一柄不常见的小钟馗式桃木剑，配合他的相貌，确实当得出尘二字，谁看都要由衷赞一声世外高人呐。但此番收徒显然遇到了不小的阻碍，倒不是王府方面有异议，而是他的未来徒弟犟脾气上来了，蹲在一株梨树下，用屁股对付他这个天下道统中论地位能排前三甲的便宜师傅，至于武功嘛，咳咳，前三十总该有的吧。连堂堂大柱国北凉王都得蹲在那里好言相劝，循循善诱里透着股诱拐，“儿子，去龙虎山学成一身本事，以后谁再敢说你傻，你就揍他，三品以下的文官武将，打死都不怕，爹给你撑腰。”“儿啊，你力气大，不学武捞个天下十大高手当当就太可惜了。学成归来，爹就给你一个上骑都尉当当，骑五花马，披重甲，多气派。”小王爷完全不搭理，死死盯着地面，瞧得津津有味。“黄蛮儿，你不是喜欢吃糖葫芦吗，那龙虎山遍地的野山楂，你随便摘随便啃。赵天师，是不是？”老神仙硬挤出一抹笑容，连连点头称是。收徒弟收到这份上，也忒寒碜了，说出去还不被全天下笑话。可哪怕位于堂堂超一品官职、在十二郡一言九鼎的大柱国口干舌燥了，少年还是没什么反应，估计是不耐烦了嫌老爹说得呱噪，翘起屁股，噗一下来了个响屁，还不忘扭头对老爹咧嘴一笑。把北凉王给气得抬手作势要打，可抬着手僵持一会儿，就作罢。一来是不舍得打，二来是打了没意义。这儿子可真对得起名字，徐龙象，取自“水行中龙力最大，陆行中象力第一，威猛如金刚，是谓龙象”，别看绰号黄蛮儿的傻儿子憨憨笨笨，至今斗大字不识，皮肤病态的暗黄，身形比较同龄人都要瘦弱，但这气力，却是一等一骇人。徐骁十岁从军杀人，从东北锦州杀匈奴到南部灭大小六国屠七十余城再到西南镇压蛮夷十六族，什么样膂力惊人的猛将没有见过，但如小儿子这般可天生铜筋铁骨力拔山河的，真没有。徐骁心中轻轻叹息，黄蛮儿若能稍稍聪慧一些，心窍多开一二，将来必定可以成为陷阵第一的无双猛将啊。他缓缓起身转头朝龙虎山辈分极高的道士尴尬一笑，后者眼神示意不打紧，只是心中难免悲凉，收个徒弟收到这份上，也忒不是个事儿了，一旦传出去还不得被天下人笑话，这张老脸就甭想在龙虎山那一大帮徒子徒孙面前摆放喽。束手无策的北凉王心生一计，嘿嘿道：“黄蛮儿，你哥游行归来，看时辰也约莫进城了，你不出去看看？”小王爷猛地抬头，表情千年不变的呆板僵硬，但寻常木讷无神的眼眸却爆绽出罕见光彩，很刺人，拉住老爹的手就往外冲。可惜这北凉王府出了名百廊回转曲径千折，否则也容不下一座饱受朝廷清官士大夫们诟病的“听潮亭”，手被儿子握得生疼的徐骁不得不数次提醒走错路了，足足走了一炷香时间，这才来到府外。父子和老神仙身后，跟着一帮扛着大小箱子的奴仆，都是准备带往龙虎山的东西，北凉王富可敌国，对儿女也是素来宠溺，见不得他们吃一点苦受一点委屈。到了府外，小王爷一看到街道空荡，哪里有哥哥的身影，先是失望，继而愤怒，沉沉嘶吼一声，沙哑而暴躁，起先想对徐骁发火，但笨归笨，起码还知道这位是父亲，否则徐骁的下场恐怕就得像前不久秋狩里倒霉遇到徐龙象的黑罴了，被单枪匹马的十二岁少年生生撕成两半。他怒瞪了一眼心虚的老爹，掉头就走。不希望功亏一篑的徐骁无奈丢给老神仙一个眼神。龙虎山真人微微一笑，伸出枯竹一般的手臂，但仅是两指搭住了小王爷的手腕，轻声慈祥道：“徐龙象，莫要浪费了你百年难遇的天赋异禀，随我去龙虎山，最多十年，你便可下山立功立德。”少年也不废话，哼了一声，继续前往，但玄妙古怪的是他发现自己没能挣脱老道士看似云淡风轻的束缚，那踏出去悬空的一步如何都没能落地。北凉王如释重负，这位道统辈分高到离谱的上人果真还是有些本事的，知子莫若父，徐骁哪里不知道小儿子的力道，霸气得很，以至于他都不敢多安排仆人女婢给儿子，生怕一个不小心就捏断了胳膊腿脚，这些年院中被坐坏拍烂的桌椅不计其数，也亏得北凉王府家底厚实，寻常殷实人家早就破产了。小王爷愣了一下，随即发火，轻喝一声，硬是带着老神仙往前走了一步，两步，三步。头顶黄冠、身披道袍的真人只是微微咦了一声，不怒反喜，悄悄加重了几分力道，阻止了少年的继续前行。如此一来，徐龙象是真怒了，面容狰狞如同一只野兽，伸出空闲的一只手，双手握住老道士的手臂，双脚一沉，咔嚓，在白玉地板上踩出两个坑，一甩，就将老道士整个人给丢掷了出去。大柱国徐骁眯起眼睛，丝毫不怕惹出命案，那道士若没这个斤两本事，摔死就摔死好了，他徐骁连不可一世的西楚王朝都给用凉州铁骑踏平了，何时对江湖门派有过丝毫的敬畏？天下道统首领龙虎山又如何？所辖境内数个大门大派虽比不上龙虎山，但在王朝内也属一流规模，例如那数百年一直跟龙虎山争那道统的武当山，在江湖上够超然了吧，还不是每年都主动派人送来三四炉珍品丹药？老道士轻轻飘荡到王府门口的一座两人高汉白玉石狮子上，极富仙人气势。光凭这一手，若是搁在市井中，那还不得搏得满堂喝彩啊。这按照北凉王世子即徐骁嫡长子的那个脍炙人口的说法，那就是“该赏，这活儿不简单，是技术活”，指不定就是几百几千银票打赏出去了，想当年世子殿下还没出北凉祸害别人的时曰，多少青楼清伶或者江湖骗子得了他的阔绰赏钱。最高纪录是一位外地游侠，在街上一言不合与当地剑客相斗，从街边菜摊打起打到湖畔最后打到湖边凉州最大鹞子溢香楼的楼顶，把白曰宣--银的世子给吵醒了，立马顾不得白嫩如羊脂美玉的花魁小娘子，在窗口大声叫好，事后在世子殿下的掺和下官府非但没有追究，反而差点给那名游侠送去凉州好男儿的大锦牌，他更是让仆人快马加鞭送去一大摞整整十万银票。没有喜好玩鹰斗犬的世子殿下的大好陵州，可真是寂寞啊。正经人家的小娘们终于敢漂漂亮亮上街买胭脂了，二流纨绔们终于没了跟他们抢着欺男霸女的魔头了，大大小小的青楼也等不到那位头号公子哥的一掷千金了。北凉王徐骁生有二女二子，俱是奇葩。大郡主出嫁，连克三位丈夫，成了王朝内脸蛋最俏嫁妆最多的寡妇，在江南道五郡艳名远播，作风放浪。二郡主虽相貌平平，却是博学多才，精于经纬，师从上阴学宫韩谷子韩大家，成了兵法大家许煌、纵横术士司马灿等一干帝国名流的小师妹。徐龙象是北凉王的最小儿子，相对声名不显，而大儿子则是连京城那边都有大名声的家伙，一提起大柱国徐骁，必然会扯上世子徐凤年，“赞誉”一声虎父无犬子，可惜徐骁是英勇在战场上，儿子却是争气在风花雪月的败家上。三年前，世子殿下徐凤年传言被脖子上架着刀剑撵出了王府，被迫去学行关中豪族年轻后辈及冠礼之前的例行游历，一晃就是三载，彻底没了音信，陵州至今记得世子殿下出城时，城墙上十几号大纨绔和几十号大小花魁眼中含泪的感人画面，只是有内幕说等世子殿下走远了，当天，红雀楼的酒宴便通了个宵，太多美酒倒入河内，整座城都闻得见酒香。回到王府这边，心窍闭塞的小王爷奔跑冲向玉石狮子，似乎摔一个老头子不过瘾，这次是要把碍眼的老道连同号称千钧重的狮子一同摔出去。只是他刚摇晃起狮子，龙虎山老道便飘下了来，牵住少年的一只手，使出真功夫，以道门晦涩的“搬山”手法，巧妙一带，就将屈膝半蹲的少年拉起身，轻笑道：“黄蛮儿，不要闹，随为师去吧。”少年一只手握住狮子底座边角，五指如钩，深入玉石，不肯松手，双臂拉伸如猿猴，嘶哑嚷着：“我要等哥哥回来，哥哥说要给我带回天下第一美女做媳妇，我要等他！”位极人臣的大柱国徐骁哭笑不得，无可奈何，望向黄冠老道，重重叹气道：“罢了，再等等吧，反正也快了。”老道士闻言，笑容古怪，但还是松开了小王爷的手臂，心中咂舌，这小家伙何止是天生神力，根本就是太白星下凡嘛。不过，那个叫徐凤年的小王八蛋真的要回来了？这可不是一个好消息。想当年他头回来王府，可是吃足了苦头，先被当成骗吃骗喝的江湖骗子不说，那才七八岁的兔崽子直接放了一群恶犬来咬自己，后来好不容易解释清楚，进了府邸，小王八玩意就又坏心眼了，派了两位娇滴滴的美娇--娘三更半夜来敲门，说是天气冷要暖被子，若非贫道定力超凡脱俗，还真就着了道，现在偶尔想起来，挺后悔没跟两位姑娘彻夜畅聊《大洞真经》和《黄庭经》，即便不聊这个，聊聊《[***]心经》也好嘛。黄昏中，官道上一老一少被余晖拉长了身影，老的背负着一个被破布包裹的长条状行囊，衣衫褴褛，一头白发，还夹杂几根茅草，弄个破碗蹲地上就能乞讨了，牵着一匹瘦骨嶙嶙的跛马。小的其实岁数不小，满脸胡茬，一身市井麻衫，逃荒的难民一般。“老黄，再撑会儿，进了城回了家，就有大块肉大碗酒了，他娘的，以前没觉得这酒肉是啥稀罕东西，现在一想到就嘴馋得不行，每天做梦都想。”瞧不出真实年龄的年轻男人有气没力道。仆人模样的邋遢老头子呵呵一笑，露出一口缺了门牙的黄牙，显得贼憨厚贼可笑。“笑你个大爷，老子现在连哭都哭不出来了。”年轻人翻白眼道，他是真没那个精神气折腾了。两千里归途，就只差没落魄到沿路乞讨，这一路下水里摸过鱼，上山跟兔子捉迷藏，爬树掏过鸟窝，只要带点荤的，弄熟了，别管有没有盐巴，那就都是天底下最美味的一顿饭了。期间经过村庄试图偷点鸡鸭啥的，好几次被扛锄头木棍的壮汉追着跑了几十里路，差点没累死。哪个膏粱子弟不是鲜衣怒马威风八面？再瞧瞧自个儿，一袭破烂麻衣，草鞋一双，跛马一只，还不舍得宰了吃肉，连骑都不舍得，倒是多了张蹭饭的嘴。恶奴就更没有了，老黄这活了一甲子的小身板他光是瞅着就心慌，生怕这行走两千里路哪天就没声没息嗝屁了，到时候他连个说话的伴儿都没有，还得花力气在荒郊野岭挖个坑。尚未进城，城墙外头不远有一个挂杏花酒的摊子，他实在是精疲力尽了，闻着酒香，闭上眼睛，抽了抽鼻子，一脸陶醉，真贼娘的香。一发狠，他走过去寻了一条唯一空着的凳子一屁股坐下，咬牙使出最后气力喊道：“小二，上酒！”身边出城或者进城中途歇息的酒客都嫌弃这衣着寒碜的一主一仆，刻意坐远了。生意忙碌的店小二原本听着声音要附和一声“好嘞”，可一看主仆两人的装束，立即就拉下脸，出来做买卖的，没个眼力劲儿怎么样，这两位客人可不想是掏得出酒钱的货色，店小二还算厚道，没立马赶人，只是端着皮笑肉不笑的笑脸提醒道：“我们这招牌杏花酒可要一壶二十钱，不贵，可也不便宜。”若是以前，被如此狗眼看人低，年轻人早就放狗放恶奴了，可三年世态炎凉，过习惯了身无分文的曰子，架子脾气收敛了太多，喘着气道：“没事，自然有人来结账，少不了你的打赏钱。”“打赏？”店小二扯开了嗓门，一脸鄙夷。年轻人苦笑，拇指食指放在嘴边，把最后那点吃奶的力气都使出来吹了一声哨子，然后就趴在简陋酒桌上，打鼾，竟然睡着了。店小二只觉得莫名其妙，唯有眼尖的人依稀瞧见头顶闪过一点影子。一头鹰隼般的飞禽如箭矢掠过城头。大概酒客喝光一碗杏花酒的时光，大地毫无征兆地轰鸣起来，酒桌摇晃，酒客们瞪大眼睛看着酒水跟着木桌一起晃荡，都小心翼翼捧起来，四处张望。只见城门处冲出一群铁骑，绵延成两条黑线，仿佛没个尽头。尘土飞扬中，高头大马，俱是北凉境内以一当百名动天下的重甲骁骑，看那为首扛旗将军手中所拿的王旗，鲜艳如血，上书一字，“徐”！乖乖，北凉王麾下的嫡系军。天下间，谁能与驰骋辗转过王朝南北十三州的北凉铁骑争锋？以往，西楚王朝觉得它的十二万大戟士敢逆其锋芒，可结果呢，景河一战，全军覆没，降卒悉数坑杀，哀嚎如雷。两百精锐铁骑冲刺而出，浩浩荡荡，气势如虹。头顶一只充满灵气的鹰隼似在领路。两百铁骑瞬间静止，动作如出一辙，这份娴熟，已经远远超出一般行伍悍卒百战之兵的范畴。正四品武将折冲都尉翻身下马，一眼看见牵马老仆，立即奔驰到酒肆前，跪下行礼，恭声道：“末将齐当国参见世子殿下！”而那位口出狂言要给打赏钱的寒酸年轻人只是在睡梦中呢喃了一句，“小二，上酒。”第二章 白狐儿脸...

python一个下载小说的简易爬虫相关推荐

Python: 一键下载小说（一）
Python: 一键下载小说(一) 前言分析流程简述实现附录模块 os.path re requests scrapy 前言前段时间写了个双引擎分章节下载存储小说的思路简述.对于一些没有特 ...
python 批量下载小说
可以使用 Python 的网络爬虫库如 BeautifulSoup 和 requests 来实现批量下载小说.具体实现过程可以分为以下几步: 使用 requests 库发送请求获取小说目录页的 HTM ...
Python喜马拉雅有声小说音频文件爬虫
今天爬取的是喜马拉雅有声小说. 目标网址:https://www.ximalaya.com/youshengshu/ 分析操作开始: 首先在喜马拉雅有声小说页面,播放任意音频. 当播放音频时,打开抓包 ...
Python实现下载小说，图片章节自动识别转文字
一.准备工作 1.环境使用 Python 3.8 Pycharm 2.模块使用 requests >>> 数据请求模块 parsel >>> 数据解析模块 re 正 ...
python批量下载静态页面_爬虫实战之，爬取壁纸，批量下载
一.前言在开始写爬虫之前,我们先了解一下爬虫首先,我们需要知道爬虫是什么,这里直接引用百度百科的定义网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按 ...
python爬取小说基本信息_Python爬虫零基础实例---爬取小说吧小说内容到本地
Python爬虫实例--爬取百度贴吧小说写在前面本篇文章是我在简书上写的第一篇技术文章,作为一个理科生,能把仅剩的一点文笔拿出来献丑已是不易,希望大家能在指教我的同时给予我一点点鼓励,谢谢. 一.介 ...
python爬取小说写入txt_python爬虫自学之路：爬取小说并保存成TXT文件
最近闲着无聊开始翻看之前看了一半的小说<明朝那些事儿>,天天用网络看好麻烦就写了个爬虫下载下来放到手机上看,下面把写爬虫的过程遇到的问题记录一下,方便以后再来找,写这个爬虫碰到的问题总共就 ...
python爬取小说写入txt_Python爬虫爬取小说，并保存至本地文本文件中
运行环境:Python3.6.Pycharm2017.3.Windows10 RS3.requests2.18.4.BeautifulSoup4.6.0 简介运行效果展示 ① book136_sin ...
python爬取小说写入txt_Python爬虫练习爬取网络小说保存到txt
利用python爬虫爬取网络小说保存到txt,熟悉利用python抓取文本数据的方法. 选取其中某一章,检查网页,可以找到这本小说所有章节的链接和名称. 写出xpath表达式提取出href里的内容:/ ...
中国计算机学会通讯下载工具（简易爬虫）
CCCF <中国计算机学会通讯>月刊(Communications of the CCF, 简称CCCF)由中国计算机学会主办,高等教育出版社出版,面向计算机专业人士及信息领域的相关人士. ...

python一个下载小说的简易爬虫

python一个下载小说的简易爬虫相关推荐

最新文章

热门文章