tweepy 根据推特ID爬取推特数据

#  -*- coding: utf-8 -*-
#利用tweepy API爬取
import tweepy
import time
import json
from tweepy import OAuthHandler
import re
import os
import logging
logging.basicConfig()dict={}
L=[]
with open('label1.txt', 'r') as f:lines=f.read().splitlines()for i in lines:# print(i)line=re.split(":",i)L.append(line[1])dict[line[1]]=line[0]
# print("列表L为：",L)
# print("字典dict为：",dict)consumer_key =""
consumer_secret =""
access_token =""
access_token_secret =""auth = OAuthHandler(consumer_key,consumer_secret)
auth.set_access_token(access_token,access_token_secret)origin_result = []api = tweepy.API(auth,wait_on_rate_limit=True, wait_on_rate_limit_notify=True)
# api = tweepy.API(auth,proxy="http://mg.520ssr.ga:1080")
# tweet1=api.retweets("498430783699554305",200)
# re_tweet_ = api.retweets(id)
# print(tweet1[0])
# 获取某人的微博
# api.get_user('用户名').timeline()
for i in  range(40):origin_tweet = api.statuses_lookup(L[100:150])# print(len(origin_tweet))for t in origin_tweet:count=0# api.statuses_lookup([t.id_str])origin_result.append({'label':dict[t.id_str],'is_quote_status': t.is_quote_status,'user_geo_enabled':t.user.geo_enabled,'user_created_at':str(t.user.created_at),'verified':t.user.verified,'statuses_count': t.user.statuses_count,'location':t.user.location,'friends_count':t.user.friends_count,'followers_count':t.user.followers_count,'favorite_count':t.favorite_count,'retweet_count':t.retweet_count,'text': t.text,'user_name': t.user.screen_name,'tweet_created_at':str(t.created_at),'tweet_id':t.id_str,'user_id':t.user.id,'user_description':t.user.description})re_tweets = api.retweets(t.id_str,200)for tweet in re_tweets:# time.sleep(14)# print("休眠中")origin_result.append({'is_quote_status': tweet.is_quote_status,'user_geo_enabled': tweet.user.geo_enabled,'user_created_at': str(tweet.user.created_at),'verified': tweet.user.verified,'statuses_count': tweet.user.statuses_count,'location': tweet.user.location,'friends_count': tweet.user.friends_count,'followers_count': tweet.user.followers_count,'favorite_count': tweet.favorite_count,'retweet_count': tweet.retweet_count,'text': tweet.text,'user_name': tweet.user.screen_name,'tweet_created_at':str(tweet.created_at),'tweet_id':tweet.id_str,'user_id':tweet.user.id,'user_description':tweet.user.description})count=count+1with open(os.path.join("tweet15", t.id_str + ".json"), 'w+') as f:json.dump(origin_result, f, indent=4)print("Event :",len(origin_result))origin_result[:]=[]# print("速率限制，休眠中")# time.sleep(15*60)break
print("\n")
print("Total: ",len(os.listdir("tweet15")))# for tweet in tweet1:
#     # quote_tweet=api.statuses_lookup([tweet.id_str])
#     result.append({
#         'is_quote_status':tweet.is_quote_status,
#         'user_geo_enabled': tweet.user.geo_enabled,
#         'user_created_at': str(tweet.user.created_at),
#         'verified': tweet.user.verified,
#         'statuses_count': tweet.user.statuses_count,
#         'location': tweet.user.location,
#         'friends_count': tweet.user.friends_count,
#         'followers_count': tweet.user.followers_count,
#         'favorite_count': tweet.favorite_count,
#         'retweet_count': tweet.retweet_count,
#         'text': tweet.text,
#         'user_name': tweet.user.screen_name,
#         'tweet_created_at':str(tweet.created_at),
#         'tweet_id':tweet.id_str,
#         'user_id':tweet.user.id,
#         'user_description':tweet.user.description
#     })# print(t.coordinates)# print(tweet)# print(len(result))
# public_tweets = api.user_timeline(691809004356501505)
# public_tweets = api.statuses_lookup([691809004356501505])

tweepy 根据推特ID爬取推特数据相关推荐

爬取推糖网图片小案例
前言: 好久没有更新博文了,因为工作的关系,一直没有更新博文,今天有空,就给大家带来一个爬图片的小案例.今天的目标网站就是堆糖网,关于爬取这个网站图片的案例,肯定大家都看到很多,基本都是通过搜索图片的 ...
Python Scrapy 爬虫框架爬取推特信息及数据持久化！整理了我三天！
最近要做一个国内外新冠疫情的热点信息的收集系统,所以,需要爬取推特上的一些数据,然后做数据分类及情绪分析.作为一名合格的程序员,我们要有「拿来主义精神」,借助别人的轮子来实现自己的项目,而不是从头搭建 ...
python爬虫公众号_python爬虫_微信公众号推送信息爬取的实例
问题描述利用搜狗的微信搜索抓取指定公众号的最新一条推送,并保存相应的网页至本地. 注意点搜狗微信获取的地址为临时链接,具有时效性. 公众号为动态网页(JavaScript渲染),使用request ...
python 实时数据推送_python scrapy 爬取金十数据并自动推送到微信
一.背景因业务需要获取风险经济事件并采取应对措施,但因为种种原因又疏忽于每天去查看财经日历,于是通过爬取金十数据网站并自动推送到微信查看. 二.目标实现 image 三.环境与工具 1.pychar ...
python微信爬取教程_python爬虫_微信公众号推送信息爬取的实例
问题描述利用搜狗的微信搜索抓取指定公众号的最新一条推送,并保存相应的网页至本地. 注意点搜狗微信获取的地址为临时链接,具有时效性. 公众号为动态网页(JavaScript渲染),使用request ...
python微信公众号推送_python爬虫_微信公众号推送信息爬取的实例
问题描述利用搜狗的微信搜索抓取指定公众号的最新一条推送,并保存相应的网页至本地. 注意点搜狗微信获取的地址为临时链接,具有时效性. 公众号为动态网页(JavaScript渲染),使用request ...
爬取知乎回答点赞数_python3 爬虫之只需要问题id爬取知乎问题全部回答
先打个定心丸,本文所需要的技术点真的不难,我本来想要直接放代码的,但发现这次的不像之前写过的<Python3 + 教你只需要网易云音乐id + 爬取全部评论 + 生成词云图>那样需要解码, ...
Python应用实战-Python爬取4000+股票数据，并用plotly绘制了树状热力图(treemap)
目录: 1. 准备工作 2. 开始绘图 2.1. 简单的例子 2.2. px.treemap常用参数介绍 2.3. color_continuous_scale参数介绍 2.4. 大A股市树状热力图来 ...
python 爬取链家数据_用python爬取链家网的二手房信息
题外话:这几天用python做题,算是有头有尾地完成了.这两天会抽空把我的思路和方法,还有代码贴出来,供python的初学者参考.我python的实战经历不多,所以代码也是简单易懂的那种.当然过程中还 ...

tweepy 根据推特ID爬取推特数据

tweepy 根据推特ID爬取推特数据相关推荐

最新文章

热门文章