python抓取微博数据_技术入门 | python利用微博api获取数据

技术入门 | python利用微博api获取数据

文 | thewords

这也是跳票许久的分享。在写之前发现目前比较少公开的第三方api，有些还停止维护，所以在一轮筛选后选择了微博api进行实践。

01 申请开发者权限

1) 进入微博开放平台，完成开发者认证

具体链接：

http://open.weibo.com/index.php

完成示意：

2) 获取App Key、AppSecret

进入微连接中的移动应用，申请新应用；在应用信息中的基本信息获取App Key、AppSecret

具体链接：

http://open.weibo.com/development/mobile

完成示意：

02 获取access_token

1) 下载并安装微博python sdk(sinaweibopy)

安装说明：

http://github.liaoxuefeng.com/sinaweibopy/

2) 利用sinaweibopy获取access_token

示例代码：

from weibo import APIClient

import webbrowser

APP_KEY = '0123456789‘ #获取的App Key

APP_SECRET = '9e3484b8fb24f9260af0e47b097f18b7' #获取的AppSecret

CALLBACK_URL = 'https://api.weibo.com/oauth2/default.html' #回调链接

client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)

url = client.get_authorize_url()

webbrowser.open_new(url) #打开默认浏览器获取code参数

print '输入url中code后面的内容后按回车键：'

code = raw_input()

浏览器打开的链接示意：

https://api.weibo.com/oauth2/default.html?code=61e30dfb3568d66e418b4c418bf9d750

输入参数code的值 r = client.request_access_token(code)

access_token = r.access_token

expires_in = r.expires_in

client.set_access_token(access_token, expires_in)

03 通过api 文档进行数据获取

api文档链接

http://open.weibo.com/wiki/%E5%BE%AE%E5%8D%9AAPI

1) 以statuses/home_timeline 接口作为例子进行数据获取

了解获取数据需要的请求参数

2) 授权用户uid可在用户首页的链接获取，".com/"之后就是uid

示意链接：

http://weibo.com/0123456789/profile

3) 每个接口的“/”换成“.”，用get方法传递参数 r = client.statuses.home_timeline.get(uid = 0123456789)

4) 阅读返回json数据的结构，进行输出结果处理

示意代码： for st in r.statuses:

print st.text

最后返回的数据示意如下：

需要说明的是，本文使用的App Key、AppSecret为测试使用，对于使用时长、使用频率都有所限制。实际用于生产环境，建议进行认证。

在成功利用api获取数据后，接下来就应该存放到数据库，然后设置定时机制，在一定的api限制条件下进行数据获取。或者直接存储到相应的文件（txt,csv）便于进一步分析。这些都取决于数据的使用场景。

题图来源：@Free-Photos

图片授权基于：CC0协议

本文来源于网络，版权归作者所有

python抓取微博数据_技术入门 | python利用微博api获取数据相关推荐

python抓取网站乱码_如何使用Python抓取网站
python抓取网站乱码 by Devanshu Jain 由Devanshu Jain It is that time of the year when the air is filled with ...
python 抓取电脑界面_学会了Python，我的人生跟开挂一样
当代职场年轻人的抑郁,有千百种. 一边是加不完的班.完不成的KPI.大把掉落的头发,一边是今年严峻的就业形势,职场人面临的工作压力可想而知. 忙碌的生活不仅磋磨了锐气,也让人觉得,自己仿佛永远没有真正 ...
如何用python抓取qq音乐_手把手教你使用Python抓取QQ音乐数据（第三弹）-阿里云开发者社区...
[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐 ...
python抓取网页文章_使用Python从公共API抓取新闻和文章
python抓取网页文章 Whether you are data scientist, programmer or AI specialist, you surely can put huge nu ...
python 抓取网页链接_从Python中的网页抓取链接
python 抓取网页链接 Prerequisite: 先决条件: Urllib3: It is a powerful, sanity-friendly HTTP client for Python ...
python爬取pdf教程_#如何利用Python抓取PDF中的某些内容#python爬取pdf教程
如何利用Python抓取PDF中的某些内容学生每天要学习,工作者要工作,家庭主妇每都要务.不论做什么,都有着相应的操作流同样就会有操作技巧.学生运用技巧学习才不会累,学得还会更快更多:工作者掌握技巧 ...
python抓取网站图片_利用python抓取网站图片
看了网上关于python抓取网站图片的例子,所以自己也尝试着写一个,但是发现这个网站的src不是标准的路径,需要自己添加前面的目录地址,尝试了几次也不成功,所以希望有经验的朋友指导下. 本人是初学者, ...
python抓取贴吧_零基础写python爬虫之抓取百度贴吧代码分享
这里就不给大家废话了,直接上代码,代码的解释都在注释里面,看不懂的也别来问我,好好学学基础知识去! # -*- coding: utf-8 -*- #------------------------- ...
python抓取经典评论_通过Python抓取天猫评论数据
每日干货好文分享丨请点击+关注对商业智能BI.数据分析挖掘.大数据.机器学习感兴趣的加微信tsbeidou,邀请你进入交流群. 欢迎关注天善智能微信公众号,我们是专注于商业智能BI,大数据,数据分析 ...
如何用python抓取qq音乐_手把手教你使用Python抓取QQ音乐数据（第二弹）
[一.项目目标] 通过Python爬取QQ音乐数据(一)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 此次我们在之前的基础上获取QQ音乐指定歌曲的歌词及前15个精 ...

python抓取微博数据_技术入门 | python利用微博api获取数据

python抓取微博数据_技术入门 | python利用微博api获取数据相关推荐

最新文章

热门文章