gephi mysql_用爬虫和 Gephi 研究微博好友二度人脉分析|Mo’s blog
使用图数据结构处理社交网络数据:每个节点就是一个人。
每个节点的度表示关系数。为 Gephi 数据可视化软件准备数据:节点 csv 文件:node.csv(列标题:id、label;值分别是微博用户 uid、微博用户名。)
边 csv 文件:edge.csv(列标题:source、target、weight;值分别是微博用户 id、微博用户 id、权值。权值可以是人脉度数)Gephi 的处理操作:
注意:边文件中的权值可以设置差异大些,这样在 Gephi 中可以容易看出自己(研究用户)的点
背景颜色
节点 - 颜色 - Ranking(度)
节点 - 大小 - Ranking(度)
边 - 颜色 - Ranking(权重)- 换个颜色
边权重尺度
找到自己的点
格式刷(扩散可选没有、邻居)
字体设置为微软雅黑
调整好中心点的位置
布局使用 Force Atlas(斥力 600),也可用其它布局
右侧统计计算平均度,然后用过滤,通过设置度(范围)为 2 及以上的节点保留,来分析自己圈子中的二度好友关系(这样可以看的更清晰)。
二 数据可视化细节
三 结论小结以下结论只在比较重度使用微博,或人际关系网在微博上的用户成立。红点表示自己。与之直接相连的节点为一度人脉(直接好友)。
除去直接与自己相连的,其它全部为二度人脉。
蓝点越大颜色越深表示其相互关注的好友数量越多。
二度人脉节点度为 1 的,表示大概率不属于自己的圈子。/ 二度人脉节点度不为 1 的,表示大概率可能是自己的好友(好友间共同的朋友),或有相同的兴趣爱好。
所有节点除去节点的度为 1 的(假设没有一个一度人脉只关注了自己,没任何其它好友)。剩下的是好友圈子里的二度人脉,表示介于一度好友们之间的人,他们在直接的一度好友间起到了桥梁的作用。/ 注意:只能分析到第二度人脉,路径深度为二,但无法分析第二度人脉之间的关系!
对于一度人脉来说:
其除去度为 1 的节点外,连线分为与一度好友的连线、与二度好友的连线。/ 与一度好友的连线越多、与二度好友的连线越少,表示在一度好友圈子里的关系越紧密,与自己关系越大。/ 相反的,与一度好友的连线越少、与二度好友的连线越多,表示越偏离自己的圈子,与二度好友圈子约亲密。
对于二度人脉来说:
其除去度为 1 的节点外,连线越多,表示在好友间的关系越复杂,与自己朋友圈越亲密。
重要结论:如果一个非一度人脉节点,与自己一度人脉连接 >= 2 则是一个圈子的(至少两个共同好友),连接数越多,与自己圈子越亲密。
四 补充说明抓二度人脉数据,即人脉深度为二(图深度为二)。/ 只能分析出第二度人脉与第一度人脉间的关系。
只能完整分析一度人脉好友,无法分析第二度人脉的好友(无法分析朋友的朋友与其间的关系。)。
五 基本数据的扩展分析通过基本数据,可以分析出一些有意思的结果。此项目的 mysql_query.py 模块已经将分析过程定义写成了 MySQL 语句,直接在主菜单使用 detail 命令即可看到所有相关统计结果。
GitHub:WFACat查询(tools 模块):通过微博用户名查某用户基本信息
通过 uid 查某用户基本信息
通过微博用户名查某用户的互关好友列表及其好友信息
通过微博用户名查某一度好友能通过圈内二度好友认识的一度好友
所有一度好友信息统计(mysql query 模块):总体概况:总人数、一度好友数、圈内二度好友数、二度好友数
能关联最多一度好友的圈内二度好友(取 10 条排序),能关联谁
一度好友中与其他一度好友互关最多的人(排序)、与圈内二度好友互关最多的人;分别是哪些人
一度好友 / 圈内二度好友 / 二度好友中认证情况统计
一度好友地理位置统计、性别统计、关注数、粉丝数、状态数、点赞数、微博创建时间、互关好友总数、客户端
圈内二度好友地理位置统计、性别统计、关注数、粉丝数、状态数、点赞数、微博创建时间、互关好友总数、客户端
二度好友地理位置统计、性别统计、关注数、粉丝数、状态数、点赞数、微博创建时间、互关好友总数、客户端推测:
根据统计的结果做出一些有趣的推测(如统计手机客户端型号等)。
gephi mysql_用爬虫和 Gephi 研究微博好友二度人脉分析|Mo’s blog相关推荐
- 天天微信空间微博,你了解“人脉”吗?
著名社会学家.斯坦福大学教授 Mark Granovetter,曾在 70 年代研究了在波士顿近郊居住的专业人士.技术人员和经理人员是怎么找到工作的,并把研究结果作为他在哈佛大学的博士论文发表.Gra ...
- gephi mysql_使用Gephi分析论坛社交关系网络
本文用Python抓取QQ群论坛中的发贴.留言数据,以此构成社交关系数据,再进行数据处理,最后用Gephi绘制社交关系网络图.数据源选取的是QQ群论坛(一个收费的成长学习论坛,论坛沉淀了一年的数据). ...
- python发微信红包群二维码_「微信红包」通过爬虫来全自动抢微博红包的思路
通过爬虫来全自动抢微博红包的思路 0x00背景 红包纷纷何所似?兄子胡儿曰:"撒钱空中差可拟."兄女道韫曰:"未若姨妈因风起." 背景大家都懂的,要过年了,正是 ...
- python 爬虫热搜_Python网络爬虫之爬取微博热搜
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 1.分析网页的源代码:右键--查看网页源代码. 从网页代码中可以获取到信息 (1)热搜的名字都在 的子节点里 (2)热搜的排名都在 ...
- python爬虫微博热搜_Python网络爬虫之爬取微博热搜
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&am ...
- 基于python的网络爬虫技术_基于python的网络爬虫技术的研究
龙源期刊网 http://www.qikan.com.cn 基于 python 的网络爬虫技术的研究 作者:刘文辉 李丽
- python爬取微博非好友圈_Python爬虫之微博好友圈
数学建模已结束,刚开始的目标就是不熬夜,结果还是熬夜了(QAQ),缓了一天就来写简书了,感觉很久没爬虫了,今天就爬下移动端的微博好友圈信息. 代码 import requests import jso ...
- Python爬虫——批量爬取微博图片(不使用cookie)
引言:刚开始我想要爬取微博的照片,但是发现网上大多数的blog都是需要一个cookie的东西,当时我很难得到,偶然翻到一个个人的技术博客: http://www.omegaxyz.com/2018/0 ...
- Python爬虫实战(四):微博博主信息爬取(粉丝数、关注数、博文数、信用等级、认证信息、个人简介……)
追风赶月莫停留,平芜尽处是春山. 文章目录 追风赶月莫停留,平芜尽处是春山. 好久没更新了,今天来更新一波. 一.网页分析 二.接口分析 url分析 返回数据分析 三.编写代码 获取数据 保存数据 完 ...
- 实战微博互动预测之一_问题分析 以及 分布式下的事件驱动机制(Pub与Sub模式)
实战微博互动预测之一_问题分析 2017年12月08日 13:21:04 xieyan0811 阅读数:2390 版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csd ...
最新文章
- CVPR 2020 | CentripetalNet:目标检测新网络,COCO 48 % AP超现所有Anchor-free网络
- 1人15篇入选?华人论文知多少?深度分析ICCV2019论文录取背后的那些事儿!
- iphone双卡_不吹不黑,今年的四款iPhone到底谁最值得买?
- PMcaff-培训 | 活动报名结束,押金和邮件须知的那些事儿
- Object对象具体解释(二)之clone
- [笑]每个人都有脑袋脱线的时候……
- 【mac】Bartender 2不能隐藏百度云同步盘图标的解决方法
- 活动 | 腾讯×Nature Research:42问AI与机器人的未来
- IntelliJ IDEA代码格式化,代码超出规定宽度自动换行
- 13.56MHZ刷卡芯片CI521兼容cv520/ci520支持A卡B卡MIFARE协议
- nginx PHP499错误,Nginx日志错误码499的问题解决方法
- 南宁琅东的机器人餐厅_南宁埌东藏着一个秘密花园,每天一大波年轻男女进进出出…...
- 简易的定时发送生日邮件功能(Listener+定时器+使用java发送邮件)
- 冰羚-IceOryx FAQ翻译
- 输出图片任意点的像素坐标
- oracle11gwin8,win8_oracle11g_64位连接32位PLSQL_Developer
- 快速了解 Java 线上问题快速诊断神器 Arthas
- 一篇文章带你认识芯片分类及代表企业
- 多目标蚁群算法路径规划(四)------多目标约束过程常规流程框架
- python爱心源代码集锦(16款)
热门文章
- etr2模式,时力高HXD1C转换开关KRGV+ETR2
- 编译原理-递归子程序法
- C++多线程卡死问题--访问冲突未必崩溃
- websocket握手失败_WebSocket通信之握手协议
- 使用CA签发的服务器证书搭建Tomcat双向SSL认证服务
- 2022年江苏省职业院校技能大赛网络搭建与应用赛项中职样卷
- 世界最快的超级计算机 神威太湖之光,揭秘全国产世界最快超级计算机“神威·太湖之光”(组图)...
- vue3 H5 pdf插件 iphone查看pdf失败
- Firefox火狐浏览器下载
- 使用hexo+icarus快速搭建属于自己的博客网站