Python3爬虫学习笔记——xpath练习之爬取起点网玄幻小说排行

这次看完xpath章之后巩固练习

import re
import requests
from lxml import etree
def get_one_page(url):headers = {'User-Agent':'MOzilla/5.0(Macintosh;Inter Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/65.0.3325.162 Safari/537.36'}response =requests.get(url,headers=headers)if response.status_code == 200:return response.textreturn Nonehtml = get_one_page('https://www.qidian.com/finish?chanId=21&action=hidden&orderId=&page=1&style=1&pageSize=20&siteid=1&pubflag=0&hiddenField=2')html = etree.HTML(html)
#result = etree.tostring(html)
#print(result.decode('utf-8'))#经过多次尝试
#xpath一次只能获取一个属性值，即一次提取book_href=html.xpath('//div[@class="book-mid-info"]/h4/a/@href')
book_name=html.xpath('//div[@class="book-mid-info"]/h4/a/text()')
author=html.xpath('//div[@class="book-mid-info"]/p//a[@class="name"]/text()')
intro=html.xpath('//div[@class="book-mid-info"]/p[@class="intro"]/text()')#处理元素删除空位符
for index,i in enumerate(intro):intro[index]=i.strip()''''
print(book_href)
print(author)
print(intro)
print(len(book_href))
'''
#处理数据整合存储到一个list中data=[]for i in range(20):elmt=[]elmt.append(book_href[i])elmt.append(book_name[i])elmt.append(author[i])elmt.append(intro[i])data.append(elmt)#print(data)
for index in range(20):for e in data[index]:print(e,end=' ')print('\n')

输出结果如下：

//book.qidian.com/info/1004073922 异世界的美食家 李鸿天 在武者举手可裂山川，甩腿可断长河的玄幻世界中，存在着这样一家小餐馆。小餐馆不大，但却是无数顶尖强者趋之若鹜之地。在那儿你可以品尝到用凤凰蛋和龙血米炒成的蛋炒饭。在那儿你可以喝到生命之泉配朱果酿制的烈酒 //book.qidian.com/info/1005238666 万界天尊 二次元 天为何物？高高在上，威严莫测，是法则，是戒律，是无情，是冷酷。天意，何也？俯瞰众生，操持风云，褫夺赏罚，随性而为。故，天意不可测，苍天不可近。顺之应之，未必得其利；逆之叛之，福祸却难定。天，禁锢万物如 //book.qidian.com/info/1115277 斗罗大陆 血红 唐门外门弟子唐三，因偷学内门绝学为唐门所不容，跳崖明志时却发现没有死，反而以另外一个身份来到了另一个世界，一个属于武魂的世界，名叫斗罗大陆。这里没有魔法，没有斗气，没有武术，却有神奇的武魂。这里的每个 //book.qidian.com/info/3600493 神门 唐家三少 【超人气玄幻】这是一个诡异莫名的世界……山，水，石，花，草，树，木，太阳，月亮，星辰……天地万物都是力量的来源。这里有着前世所有的经典名著，但却有了一个新的名字《道典》！原来看书就能获得力量啊？方正直 //book.qidian.com/info/1001730574 史上最强师兄 薪意 燕赵歌第一次穿越，穿到了武道文明繁盛至极的异世界，一头撞进包罗万象，遍收天下经典的神宫藏书楼里，但随后便是一场天地大劫，连神宫也破灭了。接下来居然第二次穿越，灵魂来到了同一个世界，不知多少年后的时代。 //book.qidian.com/info/1209977 斗破苍穹 八月飞鹰 这里是属于斗气的世界，没有花俏艳丽的魔法，有的，仅仅是繁衍到巅峰的斗气！新书等级制度：斗者，斗师，大斗师，斗灵，斗王，斗皇，斗宗，斗尊，斗圣，斗帝。 //book.qidian.com/info/2952453 完美世界 二次元 一粒尘可填海，一根草斩尽日月星辰，弹指间天翻地覆。群雄并起，万族林立，诸圣争霸，乱天动地。问苍茫大地，谁主沉浮？！一个少年从大荒中走出，一切从这里开始…… //book.qidian.com/info/1005053720 穿越诸天当邪神 天蚕土豆 某宅男在玩一款黑暗系18禁养成类galgame时，意外穿越了，还随身带上了这款名为《邪神养成》游戏的面板……邪神的养成，需要他前往诸天位面副本完成黑暗任务，以及达成日常罪恶事件来实现。这是一个志向远大 //book.qidian.com/info/1009602961 诸天仙武 辰东 龙蛇阳神，大唐双龙，破碎虚空，覆雨翻云，诛仙蜀山，完美遮天，雪中悍刀，风云霹雳，天子神兵，仙剑西游，洪荒封神，仙逆求魔，永生莽荒，吞噬星空……一切因神秘的诸天宝鉴开始。上一世凡人之躯，老迈垂死；这一生 //book.qidian.com/info/2750457 大主宰 钦定 大千世界，位面交汇，万族林立，群雄荟萃，一位位来自下位面的天之至尊，在这无尽世界，演绎着令人向往的传奇，追求着那主宰之路。无尽火域，炎帝执掌，万火焚苍穹。武境之内，武祖之威，震慑乾坤。西天之殿，百战之 //book.qidian.com/info/2083259 将夜 二次元 与天斗，其乐无穷。 //book.qidian.com/info/1003892117 玄门败家子 亘古孤寂2 真命天子，寰宇称雄！他们有至尊老头当老师，神奇异宝随身行，古街捡漏变神兵……“然而这并没有什么卵用。”“外挂再好，一卡撂倒！真命再高，也怕钱烧！”楚天箫打开大败家系统，喃念道：“更何况，连这方大千世界 //book.qidian.com/info/2048120 武动乾坤 天蚕土豆 修炼一途，乃窃阴阳，夺造化，转涅盘，握生死，掌轮回。武之极，破苍穹，动乾坤！……东方英雄传奇大剧《武动乾坤》8月7日登陆优酷视频和东方卫视周播剧场。由张黎执导，杨洋、张天爱、吴尊、王丽坤领衔主演。 //book.qidian.com/info/1005015123 异世之召唤文臣猛将 猫腻 新纪元来临，天地异变。地星本土动植物疯狂变异、返祖，异界物种沦落地星，最终新纪元人类诞生一种全新的职业御使。收服怪物，培养怪物，训练怪物，这就是御使。新书《神宠进化》已发布~ //book.qidian.com/info/1005031521 星武通神 逆运 玉河星系，物种亿万。有飘浮在虚空可以吞噬战舰的植物，也有大如山脉横渡星河的巨兽。有无边无尽湮灭一切的虫族，也有背生双翅可爱无害的精灵。人类从蓝星走出，建立联邦，依靠古武推广提升身体素质，适应星际环境， //book.qidian.com/info/1223147 间客 天蚕土豆 世界上有两件东西能够深深地震撼人们的心灵，一件是我们心中崇高的道德准则，另一件是我们头顶上灿烂的星空——康德当许乐从这行字上收回目光，第一次真正看到尘埃后方那繁若芝麻的群星时，并没有被震撼，相反他怒了 //book.qidian.com/info/2470949 武极天下 酒池醉 一个梦想进入武府圣地的普通少年，立志追求极致武学。然而面对竞争激烈的考核，又有世家子弟的借势压人，小小平凡少年如何立足？宗门传承严格保密，核心功法概不外传，在功法传承如此难得天衍大陆，即便进了武府和宗 //book.qidian.com/info/3458639 人道至尊 蒜书 自盘古开天，三皇治世，五帝定伦，世界之间，人为天地灵长……此时正值三皇中的人皇末期，五帝未定，人族也不是天地灵长。这里是莽苍荒蛮的时代，妖神、邪神、天神，诸神林立，妖魔、邪魔、天魔，群魔乱舞；万族并存 //book.qidian.com/info/63856 神墓 猫腻 一个死去万载岁月的平凡青年从远古神墓中复活而出…… //book.qidian.com/info/2407162 武神空间 蚕茧里的牛 叶希文本只是地球上一个普通的大学生，却意外穿越到了一个名为真武界的世界！在这个世界中，强大的武者能翻山倒海，毁天灭地！本是资质平凡的他，因为得到了一个神秘的特殊空间！任何的武学都可以在神秘空间中推演，

Python3爬虫学习笔记——xpath练习之爬取起点网玄幻小说排行相关推荐

爬虫学习笔记（用python爬取东方财富网实验）
参考文章以及视频:(11条消息) 爬虫实战 | 爬取东方财富网股票数据_简说Python的博客-CSDN博客.手把手教你从东方财富网上获取股票数据_哔哩哔哩_bilibili.[Python爬虫案例] ...
【Python3 爬虫学习笔记】用PySpider爬取虎嗅网并进行文章分析
–转自<1900-高级农民工>http://www.makcyun.top 安装并运行pyspider 安装pyspider pip3 install pyspider 运行pyspide ...
以下用于数据存储领域的python第三方库是-Python3爬虫学习之MySQL数据库存储爬取的信息详解...
本文实例讲述了Python3爬虫学习之MySQL数据库存储爬取的信息.分享给大家供大家参考,具体如下: 数据库存储爬取的信息(MySQL) 爬取到的数据为了更好地进行分析利用,而之前将爬取得数据存放在 ...
Python爬虫学习基础——5分钟学会爬取B站视频日播放量排行
Python爬虫学习基础--5分钟学会爬取B站视频日播放量排行基础包含 requests pyquery 进入正题基础包含这也是我当初第一次学习爬虫时做的练习,感觉给初学者练笔挺不错的.运用的知 ...
爬虫学习（13）：爬取坑爹网gif图
昨天学完了BeautifulSoup,爬取了诗词网,今天学了PyQuery,于是我选择爬取坑爹网学啥用啥嘛,嘿嘿! 插个小曲:这是我qq群970353786,同在学习python,希望更多大神小白能 ...
python爬虫学习笔记（一）—— 爬取腾讯视频影评
前段时间我忽然想起来,以前本科的时候总有一些公众号,能够为我们提供成绩查询.课表查询等服务.我就一直好奇它是怎么做到的,经过一番学习,原来是运用了爬虫的原理,自动登陆教务系统爬取的成绩等内容.我觉得挺 ...
Python数据爬虫学习笔记（11）爬取千图网图片数据
需求:在千图网http://www.58pic.com中的某一板块中,将一定页数的高清图片素材爬取到一个指定的文件夹中. 分析:以数码电器板块为例 1.查看该板块的每一页的URL: 注意到第一页是&q ...
python爬取京东手机数据_Python数据爬虫学习笔记（21）爬取京东商品JSON信息并解析...
一.需求:有一个通过抓包得到的京东商品的JSON链接,解析该JSON内容,并提取出特定id的商品价格p,json内容如下: jQuery923933([{"op":"75 ...
Python数据爬虫学习笔记（3）爬取豆瓣阅读的出版社名称数据
需求:写一个Python程序,实现获取豆瓣阅读网页上的所有出版社名称,并储存在指定路径的txt文件中,如下: 准备:观察该网页的源代码,注意到每个出版社名称都由固定格式的div所包裹,如下: 编写代码 ...

Python3爬虫学习笔记——xpath练习之爬取起点网玄幻小说排行

Python3爬虫学习笔记——xpath练习之爬取起点网玄幻小说排行相关推荐

最新文章

热门文章