我在用Python在Twitter上做一个关于用户社交关系的研究。在

问题是“什么是最快的方式抓取某个用户的关注者信息”

我搜索了很多信息,目前正在使用Tweepy:c = tweepy.Cursor(api.followers_ids, id=centre, count=5000).items()

while True:

try:

followers_ids_list.append(c.next())

except tweepy.TweepError:

# hit rate limit, sleep for 15 minutes

time.sleep(15 * 60 + 15)

continue

之后,我使用/users/lookup根据之前获得的id查找User()对象。在

但是,这条路很慢…我想知道有没有比我现在做的更快的。在

因为我想找到用户关系,这意味着followers in depth 2是不够的。在

比如说,我有100个粉丝,而这100个粉丝有自己的200个粉丝,那么抓住这个社交网络(深度=3)所需的时间是:

(1+100+100*200)/15个电话*15分钟/60分钟=335小时=14天左右!在1个呼叫:请求我的追随者ID(100ID)

100个电话:请求100个追随者ID(100*200ID)

100*200呼叫(至少):请求100*200(关注者的关注者)用户的ID。

我能想到的另一种选择是twitter.com没有api的网站(但是,我想,这样会使我的IP或帐户被禁止在Twitter上使用…)

python分析推特_用Python关注者的关注者抓取Twitter数据的最快方法相关推荐

  1. python推特爬虫_Tweepy1_抓取Twitter数据

    之前一直想用爬虫登陆并抓取twitter数据,试过scrapy,requests等包,都没成功,可能是我还不太熟悉的原因,不过 今天发现了一个新包tweepy,专门用于在Python中处理twitte ...

  2. python分析每月销售数据_用Python爬虫分析演唱会销售数据

    开篇先科普一下,其实广义范围来定义黄牛,做票务代理的都叫黄牛,只是要分大黄还是小黄,大黄就是大麦网,永乐,演唱会承办方这类,可以称为一级票代,小黄就是淘宝天猫,各地方票务销售点,现场蹲点叫卖的那些卖票 ...

  3. python分析b站_实战 | Python模型分析B站优质up主

    作者 | 远辰 来源 | 数据不吹牛 不管前浪还是后浪,能够浪起来的才算是好浪. 相信大家最近都被号称"浪里白条"的b站刷了不止一次屏.这次咱们先不谈价值观,主要从数据的角度,扒一 ...

  4. 用python分析拼多多_利用Python分析拼多多上卖的最热的产品, 结果出乎大多数人意料!...

    一.缘起 当然,我们先走第一步,开个头.现在,我们就从一个切面来窥探下. 二.我们获取了多少商品条目? 三.这些商品总共卖出了多少钱? 四.销售额前十的品类是哪些? 拼多多的主打品类是什么呢? 一级类 ...

  5. python分析微博粉丝_新浪微博Python SDK笔记——获取粉丝列表或关注列表 | 学步园...

    上一节中创建了一个initclient包,封装了授权的过程,通过获取的myAPIClient对象可以直接调用API接口进行微博操作,上一节中就调用了发微博的接口发了一条新微博.这一节还是直接使用ini ...

  6. python分析推特_最全多维度分析TWITTER(推特)

    Timeline主页活动 在分析版面主页,你首先可以看到的是过去三十天Twitter的一个总览图表. 接着,你就可以看到你发的推特的基本情况包括点击,喜好,回复,转发 等,你在这里可以看到你发布的最热 ...

  7. python分析nginx日志_利用python分析nginx日志

    最近在学习python,写了个脚本分析nginx日志,练练手.写得比较粗糙,但基本功能可以实现. 脚本功能:查找出当天访问次数前十位的IP,并获取该IP来源,并将分析结果发送邮件到指定邮箱. 实现前两 ...

  8. python分析每月销售数据_利用Python进行某单品销售数据分析

    本篇文章将利用Python工具对一份某商品的销售数据进行如下几个方面的分析,结合业务场景,构件常用业务指标,以从销售数据中挖掘出其潜在的商业价值,促进运营.用户消费趋势分析: 用户个体消费分析: 用户 ...

  9. python分析保险销售数据_利用python进行保险数据分析及可视化

    前言 现在数据分析在各个行业都在广泛的使用,尤其由于python语言的简便.高效性,在一些中小型企业的实际应用中逐渐替代excel公式.透视图等传统方式.网上各种博客论坛这类文章很多,但保险行业的数据 ...

最新文章

  1. 华为,你终于活成了他们害怕的样子
  2. HDU - 5637 Transform (思维、bfs预处理)
  3. jdbcTemplate 的update 和batchUpdate 方法的使用
  4. 电量检测芯片BQ27510使用心得
  5. shell-grep命令详解(转)
  6. vue-router 快速入门
  7. vm+ubuntu联网
  8. 如何编写一个shell脚本
  9. Prototype1.5.1源代码解读分析-3
  10. cad中填充的剖面线不能被修剪_CAD常用命令:CHAMFER(倒角)
  11. OC和Swift混合编程引用Pods管理的模块
  12. mongodb 插入一个数组 java_mongodb:推送到数组元素的子数组或添加到数组(如果不存在)...
  13. android添加一层半透明,android – 在imageview上添加半透明叠加层
  14. UART串口协议简介
  15. 怎么把录音文件转换成mp3格式,3个高效方法
  16. 计算机专业912,备战2019清华计算机912考研系列笔记绪论
  17. 《Java程序设计》课程学习资源集合
  18. Thread创建线程
  19. background-repeat
  20. animation动画几种效果

热门文章

  1. HTTP 和 HTTPS 协议
  2. 牛客21781 牛兄牛弟
  3. linux服务器运维操作命令,Windows和Linux系统服务器运维基本操作指令
  4. python 加权随机算法_python中的加权随机样本
  5. python3.6配置环境变量_python安裝及环境变量配置
  6. python中def main是什么意思_关于python:为什么使用def main()?
  7. C++ priority_queue对链表节点建立小根堆
  8. BoW(词袋Bag of words)
  9. python在windows系统中安装pandas,numpy
  10. 算法实现:返回单链表的倒数第pos个节点