不通过twitter API调用Twitter数据

  • 前言
  • 1、Python库的导入
  • 2、网络问题的解决
    • 2.1、可能遇到的错误
      • 2.1.1、Cannot Connect to host twitter.com 443 ssl:True
      • 2.2.2、get.User:'NoneType' object is not subsciptable run:Twint:Feed:noDataExpecting value
    • 2.2、问题解决方法
      • 2.2.1、Cannot Connect to host twitter.com 443 ssl:True问题
      • 2.2.2、get.User:'NoneType' object is not subsciptable run:Twint:Feed:noDataExpecting value问题
  • 抓取文本示例

前言

需要抓取Twitter的数据以进行各种方面的应用,申请Twitter开发者账号又一直不通过,无法调用Twitter API, 从Github中找到了一个可以进行Twitter数据抓取的包,因为网络的原因耗费了挺多精力,开个贴记录一下,不要踩坑。

1、Python库的导入

使用Twint包进行数据的抓取

2、网络问题的解决

2.1、可能遇到的错误

2.1.1、Cannot Connect to host twitter.com 443 ssl:True

1、Cannot Connect to host twitter.com 443 ssl:True

2.2.2、get.User:‘NoneType’ object is not subsciptable run:Twint:Feed:noDataExpecting value

2、

get.User:'NoneType' object is not subsciptable run:Twint:Feed:noDataExpecting value

2.2、问题解决方法

2.2.1、Cannot Connect to host twitter.com 443 ssl:True问题

防和谐,解决方案放到Github上

2.2.2、get.User:‘NoneType’ object is not subsciptable run:Twint:Feed:noDataExpecting value问题

同样在GitHub上有解决方案,
即使用命令:

pip3 install --user --upgrade git+https://github.com/twintproject/twint.git@origin/master#egg=twint

即可解决该问题

抓取文本示例

Github上有详细的命令文档可以很轻松地调用,在这儿放一下几个常用的。

Tips:这个工具只能抓取文本,对于图片并不能抓取。

twint -u -username (获取该用户发布的所有推文)
twint -u username -s happy (从用户的时间线中抓取所有包含包含happy的推文)
twint -u username --year 2014(抓取用户在2014年以前的推文)
twint -u username --since 2015-12-20(抓取用户在2015年12月20日之后的推文)
twint -u username -o file.csv --csv (存储到csv文件中,路径默认cmd运行路径下)

更多例子请在Github上查询。
抓取的数据:

不通过twitter API获取Twitter数据的方法相关推荐

  1. Python 使用 twitter API 获取twitter用户信息

    Python 使用 twitter API 获取twitter用户信息 1. 概述 twitter作为国外极其大众化的社交平台,具有大量的海外用户,平台流动数据量极大,是国外人群生活数据的重要来源之一 ...

  2. 推特图片搜索php,使用PHP通过twitter api获取twitter的推文信息

    如果想用twitter api获取twitter的推文信息,首先你需要在https://apps.twitter.com 上面创建一个而应用,然后填写应用的相关信息如下图: 通过创建应用获取 Cons ...

  3. 【笔记】使用Twitter API V2进行数据爬取的经验总结

    写在最前面:这篇笔记主要是基于自己使用API过程中遇到的问题以及不断的尝试形成的经验总结,所有内容都是一个字一个字敲的,所以还挺辛苦的.不过也正是因为这只是一些个人经验的归纳,所以对于API的函数和功 ...

  4. 如何使用 Yahoo! Finance stock API 获取股票数据

    本站曾介绍过,通过代码添加雅虎财经的股票走势图到自己网站的方法(添加美国股市 ,添加沪深股市 ),调用的是一张图片.今天在德馨 网站,看到了从雅虎财经频道获取股票数据的API(Yahoo! Finan ...

  5. 用python读取股票价格_雅虎API获取股票数据--Python

    好久不学Python,计划用Tkinter写一个利用雅虎免费股票查询API的可视化程序 Yahoo股票报价API 获取实时数据 请求url:http://finance.yahoo.com/d/quo ...

  6. 【Power Automate系列教程】利用API获取JSON数据定时每日自动写入List

    利用API获取JSON数据定时每日自动写入List 在知识星球的后台有个看数据的界面: 通过简单的抓包可以看到是个json数据,那么就有了想法! 获取到请求的api,发现规律: https://api ...

  7. 提取某一个镇的行政边界_高德地图api获取行政边界矢量方法

    高德地图api获取行政边界矢量方法 发布时间:2018-09-07 17:51, 浏览次数:2170 , 标签: api 1.获取高德地图web服务key 2.行政区域查询API服务地址: https ...

  8. js 用下标获取map值_js map方法处理返回数据,获取指定数据简写方法

    map方法处理返回数据,获取指定数据简写方法 前言 后端返回数据为数组列表时,通常比较全面,包含了很多不需要的数据,可以通过 map 方法处理返回数据,筛选出想要的数据 例如 // 返回数据 res ...

  9. android 获取加速度传感器值,Android开发获取传感器数据的方法示例【加速度传感器,磁场传感器,光线传感器,方向传感器】...

    本文实例讲述了Android开发获取传感器数据的方法.分享给大家供大家参考,具体如下: package mobile.android.sensor; import java.util.List; im ...

最新文章

  1. oracle insert parallel,insert /*parallel */ 到不同用户,并行起不来的问题
  2. 每日命令:(13)more
  3. Node.js v8.0.0 带来了哪些主要新特性
  4. torch.cuda.is_available()返回false
  5. asp.net关于kindeditor 上传图片出现服务器故障的解决办法
  6. 基于MATLAB的仿windows画图板功能的实现
  7. linux检测文件名编码,Linux下查看文件编码,文件或文件名编码格式转换 | 缥缈的云...
  8. JZOJ 5184. 【NOIP2017提高组模拟6.29】Gift
  9. Spring MVC--使用fastjson替换jackson来响应json数据
  10. 这位挪威博士是如何成为阿里云PolarDB资深架构师的?
  11. runloop - 面试题
  12. Java笔记(二十) 注解
  13. mac下Python2运行SparkSQL
  14. CDN > 域名管理 > 访问控制 > URL鉴权配置 > URL鉴权
  15. 图书馆借书系统c语言,急求程序!!!简单图书馆借/还书管理子系统
  16. ppt太大怎么变小,ppt如何压缩变小
  17. 最便捷的港股/A股/美股实时行情API【免费-免费-免费滴,已应用到策略中】
  18. Win10电脑没有打开蓝牙的按钮怎么办?
  19. 常见职位英文缩写词解释
  20. 互联网日报 | 5月14日 星期五 | “辣条一哥”卫龙将赴港上市;B站付费用户破2000万;京东物流预计5月28日在港上市...

热门文章

  1. html文字自动铺满页面,body height:100%让页面容器元素铺满窗口
  2. 【玩转vue】判断快递单号是否符合规则
  3. 如何设置段落格式html,dreamweaver设置段落格式的方法
  4. 小组取什么名字好_寓意好的公司名字大全 公司名字取什么好
  5. 关闭 php X-Powered-By 信息
  6. 收购快钱做线下支付,京东数科与蚂蚁终有一战?
  7. 程序员的核心竞争力分享
  8. XGBoost和时间序列
  9. 【瑞模网】游戏美术基础(一):游戏贴图
  10. Visual Studio点击之前创建的Form提示“由于从未加载设计器的文档,因此无法显示设计器”