用 Python 分析上网记录,发现了很多不可思议的事
摘要:分享个 Python 神工具。
长时间使用浏览器会积累大量浏览器历史记录,这些是很隐私的数据,里面甚至可能有一些不可描述的网站或者搜索记录不想让别人知道。
不过,我们自己可能会感兴趣,天天上网是都在摸鱼还是有认真工作。其次,了解下自己每天打开多少次网页、哪些网站上的最多、常搜哪些关键词,这些也很有趣。
下面就来给大家介绍一款 Python 编写的神工具,可以一键分析你的上网行为。我用了后发现了很多不可思议的结论。
比如访问次数最多的网站居然是微信公众号,7000 多次,看来弄自媒体占了大量上网时间。
看到了每天打开网站的次数,平均都有好几百次,8 月 8 号那天发生了什么,竟打开了 1600 多次!
然后又统计了停留时间最长的网页页面,在 http://md.aclickall.com/ 这个网站居然停留了 660 小时,这是个文章排版网站,因为经常要排版所以把该页面固定了起来。
然后统计出了搜索最多的十个关键词,Python 居然是第一位!前十中基本都是数据编程相关的,没想到自己这么爱学习。
最后统计出了各大搜索引擎的使用率。Google 的使用率达到了 97.3%,而百度只有不到 3%。
怎么样是不是挺有意思?下面就来说说怎么用这款工具,让你也可以分分钟了解自己的上网行为,非常简单。
这款 Python 工具其实就是分析浏览器的历史记录数据库文件然后可视化。这里的浏览器只支持 Chrome 和以 Chrome 为内核的浏览器,比如 Centbrower 、360极速浏览器等,其他浏览器比如 ie、Firefox 不支持。如果有登陆账号,桌面端和电脑端会一起分析,更全面。
第一步,打开网址:(网址在下方得到)
接着上传你的浏览器历史记录文件,这个历史记录文件怎么获得呢?
新建一个标签页,输入 chrome://version/
回车,可以打开你的浏览器详细信息:
复制「个人资料路径」到资源管理器打开,然后找到 history 文件复制一份到桌面。
接着就在刚才的网站中上传该文件(我的文件有 15MB 大),稍等片刻就可以得到上门的那些可视化分析结果。
你可能会担心上传浏览器历史记录是否安全,尽管放心,这个程序是开源的。
下面再简单说下如何用 python 一步步实现的这个程序功能的,这是一个很棒的 python 练手项目,涉及到了前后端的知识,整个程序包含多个文件:
Code
├─ app_callback.py 回调函数,实现后台功能
├─ app_configuration.py web服务器配置
├─ app_layout.py web前端页面配置
├─ app_plot.py web图表绘制
├─ app.py web服务器的启动
├─ assets web所需的一些静态资源文件
│ ├─ css web前端元素布局文件
│ │ ├─ custum-styles_phyloapp.css
│ │ └─ stylesheet.css
│ ├─ image web前端logo图标
│ │ ├─ GitHub-Mark-Light.png
│ └─ static web前端帮助页面
│ │ ├─ help.html
│ │ └─ help.md
├─ history_data.py 解析chrome历史记录文件
└─ requirement.txt 程序所需依赖库
每个程序实现的功能:
具体实现思路大致分为下面几点:
- 解析历史记录文件数据
历史记录 history 是一个 sqllite 数据库文件,连接数据库查询然后调用数据库中的信息并存储。
配置 web 服务器和前端页面
可视化绘图函数
可视化图形使用的是可交互式的 plotly 库。
完整的程序可以在后台回复:上网分析 得到。
小结
上网记录是很重要的隐私数据,平常自己可能无法从中直接发现什么,使用 python 简单一分析就可以发现很多东西,所以平时尽量注重隐私保护。
完整程序和网站地址可以关注公众号:高级农民工,在后台回复:813 得到。
转载于:https://www.cnblogs.com/suke1900/p/11343828.html
用 Python 分析上网记录,发现了很多不可思议的事相关推荐
- python数字规律分析_【小白学爬虫】用Python分析福彩3D|发现数字的秘密
2).我们用chrome浏览器,分析一下网站的结构和源码 访问: http://kaijiang.zhcw.com/zhcw/inc/3d/3d_wqhg.jsp 跳转到: http://kaijia ...
- 糟了,上网记录被 Python 扒下来了!
点击上方"码农突围",马上关注,每天早上8:50准时推送 真爱,请置顶或星标 摘要:分享个 Python 神工具. 长时间使用浏览器会积累大量浏览器历史记录,这些是很隐私的数据,里 ...
- 我用Python分析1585家电商车厘子销售数据,发现这些秘密!
图片来源:互联网 大家好,我是菜鸟哥~ 众所周知,中国是智利车厘子最主要的出口对象,占据了其95%的市场份额. 智利驻华大使馆商务参赞娜塔曾表示:"2020-2021产季车厘子实现了丰收,预 ...
- python分类信息_用Python分析了 7 万款 App后,我们发现...
原标题:用Python分析了 7 万款 App后,我们发现... 本文中使用 Scrapy 爬取了豌豆荚全网 70,000+ App ,并进行探索性分析. 写在前面:若对数据抓取部分不感兴趣,可以直接 ...
- 【数据分析】系列-Python分析淘宝4200款Bra(没错,就是文胸)后,发现最好卖的款式居然是。。。
此博客仅为我业余记录文章所用,发布到此,仅供网友阅读参考,如有侵权,请通知我,我会删掉. 本着娱乐的态度,着手分析一下淘宝的前4200+款bra(文胸),看看有什么有趣的地方. 项目背景 起因:近日, ...
- GDP越高就越幸福吗?用Python分析《世界幸福指数报告》后我们发现…
公众号后台回复"图书",了解更多号主新书内容 作者:CDA数据分析师 来源:CDA数据分析师 CDA数据分析师 出品 作者:真达.Mika 数据:真达 [导读] 今天教大 ...
- 用 Python 分析微信群聊记录,是怎样一种体验?
1. 场景 前几天,有一位小伙伴在后台给我留言,说自己有几十个微信群,自己精力有限,没法看过来,想要筛选一些高质量的群,让我是否能帮忙想想办法. 其实,微信群里的所有聊天记录都在手机本地文件夹内,只需 ...
- Python数据挖掘处理通话数据、短信以及上网记录完整项目+源码+源码解释
对通话.短信以及上网记录的数据来预测风险用户 本文代码全部采用jupyter运行 先导入相关的包 # -*- coding: UTF-8 -*- import pandas as pd import ...
- Python分析离散心率信号(下)
Python分析离散心率信号(下) 如何使用动态阈值,信号过滤和离群值检测来改善峰值检测. 一些理论和背景 到目前为止,一直在研究如何分析心率信号并从中提取最广泛使用的时域和频域度量.但是,使用的信号 ...
最新文章
- python codecs模块
- SpringBoot 2.1.3配置log4j2日志框架完整代码示例
- celery delay 没反应
- php模块memcache和memcached区别分析
- 转 : 深入解析Java锁机制
- apache mysql python win10_Win10 MySQL-python
- linux 添加编程环境变量配置
- (四)Trigger
- sccm终于把用户装软件的问题解决了
- 宝藏世界显示连接不到服务器,宝藏世界新手常见问题解答 新手攻略
- fullgc触发条件_JVM的内存分配策略以及进入分代的条件
- 关于近期卡巴斯基6.0授权文件被封的解决方案
- 数据库面试题(答案)
- 微信小程序富文本编辑器 editor 组件源码
- vue中利用高德地图选取经纬度
- html怎么修改像素,PS怎么修改像素又不改变尺寸?
- kubernetes networkpolicy网络策略详解
- Java小游戏之《大鱼吃小鱼》
- express获取url路由地址参数的方法 获取get请求参数
- uniapp 微信小程序开发 解决旧版本缓存
热门文章
- Javascript框架 - ExtJs - 类
- 江湖救急!磁盘数据大救星TestDisk
- 消除类游戏(js版)
- 安装 pear、phpunit 测试用例步骤方法
- python创建自定义函数is_number()来判断一个字符是否是数字
- python socket send_全网最详细python中socket套接字send与sendall的区别
- json pandas 内存溢出_pandas中的常用函数
- 05NumPy--5.1多维数组
- 今日恐慌与贪婪指数为78 贪婪程度有所上升
- 今日恐慌与贪婪指数为38 等级从贪婪转为恐慌