python+selenium统计CSDN博客(上):统计阅读量
由于CSDN改版,本文有些过时,请移步Python玩转CSDN,用selenium统计博客的阅读量
这个功能是比较容易实现的,按理说一个人的所有文章都在博客主页,每篇文章的标题大致如下
<div data-v-6fe2b6a7="" class="blog-list-box-top"><h4 data-v-6fe2b6a7="">耗时一个月对Python标准库20多个模块的整理</h4>
</div>
文章标题为耗时一个月对Python标准库20多个模块的整理
,其class
为blog-list-box-top
。
接下来通过selenium进入该页面。
from selenium import webdriver
url = 'https://blog.csdn.net/m0_37816922?type=blog'
driver = webdriver.Edge()
driver.get(url)
然后查找class
,如果使用find_element的方法,则只显示第一个匹配对象,
>>> Title = driver.find_element_by_class_name('blog-list-box-top')
>>> print(Title.text)
【Python标准库textwrap】对段落文本进行格式化
如果采用find_elements
,则可定位所有文章,从而得到当前页所有文章的标题。
>>> titleClass = 'blog-list-box-top'
>>> for T in driver.find_elements_by_class_name(titleClass):
... print(T.text)
...
【Python标准库textwrap】对段落文本进行格式化
python将文件名改为文件夹名
一文学会Android布局
耗时一个月对Python标准库20多个模块的整理
【python标准库】json
【python标准库】读取和保存csv文件
【python标准库】如何打出字符π
python命令行版2048小游戏
#。。。
然而这个页面采用了无限滚动,所以并没有得到我的全部博文。这时先滚动一下试试
driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
这回再寻找相应的元素,则果然内容变多了。
可以通过元素个数来确认滚动条是否已经到底,即
import time
titleClass = 'blog-list-box-top'
script = "window.scrollTo(0,document.body.scrollHeight)"
Titles = driver.find_elements_by_class_name(titleClass)
oldLen, newLen = 0, len(Titles)
while oldLen!=newLen:driver.execute_script(script)time.sleep(2) #发出命令后等待2秒Titles = driver.find_elements_by_class_name(titleClass)oldLen, newLen = newLen, len(Titles)
运行结束后,获取了165篇博客。
>>> len(Titles)
165
接下来就是摘取每篇博客的信息,博客中,除了标题之外还有阅读量、点赞以及评论量。
<div data-v-6fe2b6a7="" class="view-num-box"><span data-v-6fe2b6a7="" class="view-num">91<span data-v-6fe2b6a7="" class="two-px"> 阅读 ·</span></span>
</div>
<div data-v-6fe2b6a7="" class="give-like-box"><span data-v-6fe2b6a7="" class="give-like-num">5<span data-v-6fe2b6a7="" class="two-px"> 点赞 ·</span></span></div>
<div data-v-6fe2b6a7="" class="comment-box"><span data-v-6fe2b6a7="" class="comment-num">0<span data-v-6fe2b6a7="" class="two-px"> 评论</span></span>
</div>
可以看到数量和描述之间有一个空格,可split之后再转化为数字。
titleClass = 'blog-list-box-top'
viewClass = 'view-num'
likeClass = 'give-like-num'
commentClass = 'comment-num'
Titles = [t.text for t in driver.find_elements_by_class_name(titleClass)]
Views = [int(v.text.split(' ')[0]) for v in driver.find_elements_by_class_name(viewClass)]
Likes = [int(L.text.split(' ')[0]) for L in driver.find_elements_by_class_name(likeClass)]
Comments = [int(c.text.split(' ')[0]) for c in driver.find_elements_by_class_name(commentClass)]
得到所有博文的数据之后,接下来就要展示这些数据了,好在博客不多,故可以导入到excel中,毕竟所见即所得,这里使用python内置的csv
模块
import csv
f = open('blog.csv','w',newline='')
w = csv.writer(f)
for i in range(len(Titles)):w.writerow([Titles[i],Views[i],Likes[i],Comments[i]])
剩下的通过excel就可以进行统计,最终得到博客的总阅读量为221.22k,平均阅读量为1340;平均点赞5.25个;平均评论1条……实在是太可怜了
每篇博客的阅读量如下,的确是拖着长长的尾巴
尽管看上去尾巴很长,但到底服从帕累托还是服从长尾,这个还得计算一下。
所谓帕累托法则,就是百分之二十的博文占据了百分之八十的阅读量。由于总博客为165篇,则其五分之一为33,则前33篇文章的总阅读量为161891,占了总阅读量的73%,尽管没到80%,但也差不多了。
其分布如下,横轴为阅读量区间,纵轴为文章数,果然大部分的阅读量都在250以内……太可怜了
如果想统计一下收藏量,请看过python+selenium统计CSDN博客(下):统计收藏量
python+selenium统计CSDN博客(上):统计阅读量相关推荐
- java实现阅读量统计_博客中的阅读量是如何设计的?
在博客园中,一篇博客的底部,通常有该篇博客的阅读量的统计.当浏览器端没发起一个请求的时候,它通过相应的逻辑判断,如果符合要求,则给阅读量加一.所以,有了如下代码: package test; impo ...
- python+shell 备份 CSDN 博客文章,CSDN博客备份工具
python+shell 备份 CSDN 博客文章,CSDN博客备份工具 在 csdn 写了几年的博客了.多少也积累了两三百篇博文,近日,想把自己的这些文章全部备份下来,于是开始寻找解决方案. 我找到 ...
- 在markdown (csdn)博客上输出 右下小标,右上小标。
在markdown (csdn)博客上输出 右下小标,右上小标. 输入: x<sup>2</sup> 输出: x2 输入: x<sub>2</sub> ...
- 【爬虫+数据可视化】Python爬取CSDN博客访问量数据并绘制成柱状图
以下内容为本人原创,欢迎大家观看学习,禁止用于商业及非法用途,谢谢合作! ·作者:@Yhen ·原文网站:CSDN ·原文链接:https://blog.csdn.net/Yhen1/article/ ...
- 使用代码将github仓库里某个issue同步到CSDN博客上
2019独角兽企业重金招聘Python工程师标准>>> 我是一个懒惰的程序员.我在github仓库里用issue的方式写了很多分享文章,想同步到CSDN上.但是我又不想一篇篇手动复制 ...
- python+selenium之悠悠博客学习笔记
1 Python之自动化测试框架selenium学习 offical website 悠悠之selenium浅谈·博客园 悠悠软件测试系列 1.1 基础环境准备 1.1.1 python包下载工具的安 ...
- python刷阅读_简单的37行python爬虫刷CSDN博客阅读数
# -*- coding:utf-8 -*- # 利用爬虫刷CSDN博客阅读数 import requests from bs4 import BeautifulSoup # 解析源码 def Get ...
- 火狐扩展:CSDN 博客页面自动 “阅读全文”
简介 实现 确定思路 编写扩展 链接 简介 经常浏览 CSDN 博客的朋友可能会发现,篇幅较长且皮肤为"大白"的 CSDN 博客并不会自动显示全部文章内容,而是必须由读者手动点击 ...
- 真正阅读量php,科学网—博客70万阅读量与研究网8万点击量感言 - 陈安的博文
??前天,我的题为"崇尚智慧和人生改变的人请来这里"天涯博客(http://change1970.tianyablog.com)超过了70万的阅读量,这个博客现在有点沦为科学网博客 ...
最新文章
- 还不知道事务消息吗?这篇文章带你全面扫盲
- 汇编语言笔记17-使用BIOS进行键盘输入和磁盘读写
- 7篇必读ACM MM 2019论文:图神经网络+多媒体
- 【小白学习C++ 教程】十一、C++类中访问修饰符
- 淘宝直播在冲刺最复杂的人工智能技术!
- PTA c语言 冒泡法排序
- u盘安装linux 提示no such device_IGH EtherCAT 开源主站安装及测试
- SWFupload在IE9以上中的bug
- 设计模式(读书笔记)
- L2TP/L2TP over IPSec
- 2020美赛F奖论文(一):摘要、绪论和模型准备
- 【烈日炎炎战后端】Redis(6.1万字)
- 【Practical】并行化:VLIW
- 爱荷华大学计算机科学专业,爱荷华大学计算机科学本科爱荷华大学计算机科学本科.pdf...
- 赛前练习(百度之星资格赛及初赛真题+Codeforces(div2级别))
- 方舟非专用服务器稳定吗,方舟非专用服务器
- 一段Js代码开启任意网站的匿名在线聊天室
- Spring AOP(获取入参和返回值)及其原理:动态代理
- 僵尸网络检测和抑制方法
- 在配有通道的计算机系统中,用户程序需要输出时,引起的中断是,自考计算机系统结构试题_全国2009年7月自考试卷...
热门文章
- Unity第一人称手游-左侧控制移动,右侧控制视角和方向(第一人称,类似吃鸡游戏)
- C++ Primer 5 ,众里寻他千百度,下载的大虾别忘了后面买一本正版的支持作者
- c#连接读取mysql内容(报警无法连接处理方法)
- 黑客攻防从入门到精通(一)
- 如何设置Word文档公式序号在右边
- 出现/usr/lib64/erlang/erts-10.3/bin/beam.smp: error while loading shared libraries: libtinfo.so.5解决方法
- python自动化测试实战下载_Selenium 2自动化测试实战:基于Python语言 (虫师著) 完整pdf扫描版[44MB]...
- 下列有关计算机语言的叙述中,下列关于计算机语言的叙述中,正确的是( )...
- Kaggle—风控相关比赛
- repo (一) 简介