不通过twitter API获取Twitter数据的方法
不通过twitter API调用Twitter数据
- 前言
- 1、Python库的导入
- 2、网络问题的解决
- 2.1、可能遇到的错误
- 2.1.1、Cannot Connect to host twitter.com 443 ssl:True
- 2.2.2、get.User:'NoneType' object is not subsciptable run:Twint:Feed:noDataExpecting value
- 2.2、问题解决方法
- 2.2.1、Cannot Connect to host twitter.com 443 ssl:True问题
- 2.2.2、get.User:'NoneType' object is not subsciptable run:Twint:Feed:noDataExpecting value问题
- 抓取文本示例
前言
需要抓取Twitter的数据以进行各种方面的应用,申请Twitter开发者账号又一直不通过,无法调用Twitter API, 从Github中找到了一个可以进行Twitter数据抓取的包,因为网络的原因耗费了挺多精力,开个贴记录一下,不要踩坑。
1、Python库的导入
使用Twint包进行数据的抓取
2、网络问题的解决
2.1、可能遇到的错误
2.1.1、Cannot Connect to host twitter.com 443 ssl:True
1、Cannot Connect to host twitter.com 443 ssl:True
2.2.2、get.User:‘NoneType’ object is not subsciptable run:Twint:Feed:noDataExpecting value
2、
get.User:'NoneType' object is not subsciptable run:Twint:Feed:noDataExpecting value
2.2、问题解决方法
2.2.1、Cannot Connect to host twitter.com 443 ssl:True问题
防和谐,解决方案放到Github上
2.2.2、get.User:‘NoneType’ object is not subsciptable run:Twint:Feed:noDataExpecting value问题
同样在GitHub上有解决方案,
即使用命令:
pip3 install --user --upgrade git+https://github.com/twintproject/twint.git@origin/master#egg=twint
即可解决该问题
抓取文本示例
Github上有详细的命令文档可以很轻松地调用,在这儿放一下几个常用的。
Tips:这个工具只能抓取文本,对于图片并不能抓取。
twint -u -username (获取该用户发布的所有推文)
twint -u username -s happy (从用户的时间线中抓取所有包含包含happy的推文)
twint -u username --year 2014(抓取用户在2014年以前的推文)
twint -u username --since 2015-12-20(抓取用户在2015年12月20日之后的推文)
twint -u username -o file.csv --csv (存储到csv文件中,路径默认cmd运行路径下)
更多例子请在Github上查询。
抓取的数据:
不通过twitter API获取Twitter数据的方法相关推荐
- Python 使用 twitter API 获取twitter用户信息
Python 使用 twitter API 获取twitter用户信息 1. 概述 twitter作为国外极其大众化的社交平台,具有大量的海外用户,平台流动数据量极大,是国外人群生活数据的重要来源之一 ...
- 推特图片搜索php,使用PHP通过twitter api获取twitter的推文信息
如果想用twitter api获取twitter的推文信息,首先你需要在https://apps.twitter.com 上面创建一个而应用,然后填写应用的相关信息如下图: 通过创建应用获取 Cons ...
- 【笔记】使用Twitter API V2进行数据爬取的经验总结
写在最前面:这篇笔记主要是基于自己使用API过程中遇到的问题以及不断的尝试形成的经验总结,所有内容都是一个字一个字敲的,所以还挺辛苦的.不过也正是因为这只是一些个人经验的归纳,所以对于API的函数和功 ...
- 如何使用 Yahoo! Finance stock API 获取股票数据
本站曾介绍过,通过代码添加雅虎财经的股票走势图到自己网站的方法(添加美国股市 ,添加沪深股市 ),调用的是一张图片.今天在德馨 网站,看到了从雅虎财经频道获取股票数据的API(Yahoo! Finan ...
- 用python读取股票价格_雅虎API获取股票数据--Python
好久不学Python,计划用Tkinter写一个利用雅虎免费股票查询API的可视化程序 Yahoo股票报价API 获取实时数据 请求url:http://finance.yahoo.com/d/quo ...
- 【Power Automate系列教程】利用API获取JSON数据定时每日自动写入List
利用API获取JSON数据定时每日自动写入List 在知识星球的后台有个看数据的界面: 通过简单的抓包可以看到是个json数据,那么就有了想法! 获取到请求的api,发现规律: https://api ...
- 提取某一个镇的行政边界_高德地图api获取行政边界矢量方法
高德地图api获取行政边界矢量方法 发布时间:2018-09-07 17:51, 浏览次数:2170 , 标签: api 1.获取高德地图web服务key 2.行政区域查询API服务地址: https ...
- js 用下标获取map值_js map方法处理返回数据,获取指定数据简写方法
map方法处理返回数据,获取指定数据简写方法 前言 后端返回数据为数组列表时,通常比较全面,包含了很多不需要的数据,可以通过 map 方法处理返回数据,筛选出想要的数据 例如 // 返回数据 res ...
- android 获取加速度传感器值,Android开发获取传感器数据的方法示例【加速度传感器,磁场传感器,光线传感器,方向传感器】...
本文实例讲述了Android开发获取传感器数据的方法.分享给大家供大家参考,具体如下: package mobile.android.sensor; import java.util.List; im ...
最新文章
- oracle insert parallel,insert /*parallel */ 到不同用户,并行起不来的问题
- 每日命令:(13)more
- Node.js v8.0.0 带来了哪些主要新特性
- torch.cuda.is_available()返回false
- asp.net关于kindeditor 上传图片出现服务器故障的解决办法
- 基于MATLAB的仿windows画图板功能的实现
- linux检测文件名编码,Linux下查看文件编码,文件或文件名编码格式转换 | 缥缈的云...
- JZOJ 5184. 【NOIP2017提高组模拟6.29】Gift
- Spring MVC--使用fastjson替换jackson来响应json数据
- 这位挪威博士是如何成为阿里云PolarDB资深架构师的?
- runloop - 面试题
- Java笔记(二十) 注解
- mac下Python2运行SparkSQL
- CDN > 域名管理 > 访问控制 > URL鉴权配置 > URL鉴权
- 图书馆借书系统c语言,急求程序!!!简单图书馆借/还书管理子系统
- ppt太大怎么变小,ppt如何压缩变小
- 最便捷的港股/A股/美股实时行情API【免费-免费-免费滴,已应用到策略中】
- Win10电脑没有打开蓝牙的按钮怎么办?
- 常见职位英文缩写词解释
- 互联网日报 | 5月14日 星期五 | “辣条一哥”卫龙将赴港上市;B站付费用户破2000万;京东物流预计5月28日在港上市...
热门文章
- html文字自动铺满页面,body height:100%让页面容器元素铺满窗口
- 【玩转vue】判断快递单号是否符合规则
- 如何设置段落格式html,dreamweaver设置段落格式的方法
- 小组取什么名字好_寓意好的公司名字大全 公司名字取什么好
- 关闭 php X-Powered-By 信息
- 收购快钱做线下支付,京东数科与蚂蚁终有一战?
- 程序员的核心竞争力分享
- XGBoost和时间序列
- 【瑞模网】游戏美术基础(一):游戏贴图
- Visual Studio点击之前创建的Form提示“由于从未加载设计器的文档,因此无法显示设计器”