python分析推特_用Python关注者的关注者抓取Twitter数据的最快方法
我在用Python在Twitter上做一个关于用户社交关系的研究。在
问题是“什么是最快的方式抓取某个用户的关注者信息”
我搜索了很多信息,目前正在使用Tweepy:c = tweepy.Cursor(api.followers_ids, id=centre, count=5000).items()
while True:
try:
followers_ids_list.append(c.next())
except tweepy.TweepError:
# hit rate limit, sleep for 15 minutes
time.sleep(15 * 60 + 15)
continue
之后,我使用/users/lookup根据之前获得的id查找User()对象。在
但是,这条路很慢…我想知道有没有比我现在做的更快的。在
因为我想找到用户关系,这意味着followers in depth 2是不够的。在
比如说,我有100个粉丝,而这100个粉丝有自己的200个粉丝,那么抓住这个社交网络(深度=3)所需的时间是:
(1+100+100*200)/15个电话*15分钟/60分钟=335小时=14天左右!在1个呼叫:请求我的追随者ID(100ID)
100个电话:请求100个追随者ID(100*200ID)
100*200呼叫(至少):请求100*200(关注者的关注者)用户的ID。
我能想到的另一种选择是twitter.com没有api的网站(但是,我想,这样会使我的IP或帐户被禁止在Twitter上使用…)
python分析推特_用Python关注者的关注者抓取Twitter数据的最快方法相关推荐
- python推特爬虫_Tweepy1_抓取Twitter数据
之前一直想用爬虫登陆并抓取twitter数据,试过scrapy,requests等包,都没成功,可能是我还不太熟悉的原因,不过 今天发现了一个新包tweepy,专门用于在Python中处理twitte ...
- python分析每月销售数据_用Python爬虫分析演唱会销售数据
开篇先科普一下,其实广义范围来定义黄牛,做票务代理的都叫黄牛,只是要分大黄还是小黄,大黄就是大麦网,永乐,演唱会承办方这类,可以称为一级票代,小黄就是淘宝天猫,各地方票务销售点,现场蹲点叫卖的那些卖票 ...
- python分析b站_实战 | Python模型分析B站优质up主
作者 | 远辰 来源 | 数据不吹牛 不管前浪还是后浪,能够浪起来的才算是好浪. 相信大家最近都被号称"浪里白条"的b站刷了不止一次屏.这次咱们先不谈价值观,主要从数据的角度,扒一 ...
- 用python分析拼多多_利用Python分析拼多多上卖的最热的产品, 结果出乎大多数人意料!...
一.缘起 当然,我们先走第一步,开个头.现在,我们就从一个切面来窥探下. 二.我们获取了多少商品条目? 三.这些商品总共卖出了多少钱? 四.销售额前十的品类是哪些? 拼多多的主打品类是什么呢? 一级类 ...
- python分析微博粉丝_新浪微博Python SDK笔记——获取粉丝列表或关注列表 | 学步园...
上一节中创建了一个initclient包,封装了授权的过程,通过获取的myAPIClient对象可以直接调用API接口进行微博操作,上一节中就调用了发微博的接口发了一条新微博.这一节还是直接使用ini ...
- python分析推特_最全多维度分析TWITTER(推特)
Timeline主页活动 在分析版面主页,你首先可以看到的是过去三十天Twitter的一个总览图表. 接着,你就可以看到你发的推特的基本情况包括点击,喜好,回复,转发 等,你在这里可以看到你发布的最热 ...
- python分析nginx日志_利用python分析nginx日志
最近在学习python,写了个脚本分析nginx日志,练练手.写得比较粗糙,但基本功能可以实现. 脚本功能:查找出当天访问次数前十位的IP,并获取该IP来源,并将分析结果发送邮件到指定邮箱. 实现前两 ...
- python分析每月销售数据_利用Python进行某单品销售数据分析
本篇文章将利用Python工具对一份某商品的销售数据进行如下几个方面的分析,结合业务场景,构件常用业务指标,以从销售数据中挖掘出其潜在的商业价值,促进运营.用户消费趋势分析: 用户个体消费分析: 用户 ...
- python分析保险销售数据_利用python进行保险数据分析及可视化
前言 现在数据分析在各个行业都在广泛的使用,尤其由于python语言的简便.高效性,在一些中小型企业的实际应用中逐渐替代excel公式.透视图等传统方式.网上各种博客论坛这类文章很多,但保险行业的数据 ...
最新文章
- 华为,你终于活成了他们害怕的样子
- HDU - 5637 Transform (思维、bfs预处理)
- jdbcTemplate 的update 和batchUpdate 方法的使用
- 电量检测芯片BQ27510使用心得
- shell-grep命令详解(转)
- vue-router 快速入门
- vm+ubuntu联网
- 如何编写一个shell脚本
- Prototype1.5.1源代码解读分析-3
- cad中填充的剖面线不能被修剪_CAD常用命令:CHAMFER(倒角)
- OC和Swift混合编程引用Pods管理的模块
- mongodb 插入一个数组 java_mongodb:推送到数组元素的子数组或添加到数组(如果不存在)...
- android添加一层半透明,android – 在imageview上添加半透明叠加层
- UART串口协议简介
- 怎么把录音文件转换成mp3格式,3个高效方法
- 计算机专业912,备战2019清华计算机912考研系列笔记绪论
- 《Java程序设计》课程学习资源集合
- Thread创建线程
- background-repeat
- animation动画几种效果
热门文章
- HTTP 和 HTTPS 协议
- 牛客21781 牛兄牛弟
- linux服务器运维操作命令,Windows和Linux系统服务器运维基本操作指令
- python 加权随机算法_python中的加权随机样本
- python3.6配置环境变量_python安裝及环境变量配置
- python中def main是什么意思_关于python:为什么使用def main()?
- C++ priority_queue对链表节点建立小根堆
- BoW(词袋Bag of words)
- python在windows系统中安装pandas,numpy
- 算法实现:返回单链表的倒数第pos个节点