2021年最新抓取微博所有图片，所有视频，所有评论，保存数据库excel

声明：
本博客纯属记录本人学习过程，仅供学习使用，不会将代码贴出

1、这大概是本文会用到的一些依赖库

pip install requests

2、此次抓取新浪微博的数据时通过手机端抓取的
https://m.weibo.cn/u/1782432341
然后在网址后面加入每个人的id就可以识别到这个人的微博了，这里拿沈腾的微博作为列子

当我一直往下翻数据一直刷新，知道数据时通过ajax异步加载的

打开xha发现数据一直刷新

但是第一个数据并不是我们想要的数据，应该是每个人微博资料

紧接着打开第二个ajax数据的时候就发现事情不简单了

这不就是我们想要的数据吗

所有信息都是在这个json文件里面发文内容发文时间 id mid 图片视频

注意:id bid 后面是非常有用的因为如果想要拿到视频需要进行别的requests.get 需要用到id mid

而图片就是在

视频信息在

评论内容在另外的一个请求中，也是通过一个值来进行分页爬取

思路大概就是这样

2021年最新抓取微博所有图片，所有视频，所有评论，保存数据库excel相关推荐

抓取微博热搜榜数据并保存在Excel中
PC端我们抓包常用到工具是Fiddler,那app端要怎么抓包? 1.首先将jsoup-1.8.1.jar(点击下载).poi-3.7.jar(目前上传不了,可以CSDN资源中去搜索下载)这两个包放到 ...
php抓取运动步数,使用PHP抓取微博数据
实现目标 1. 用户发布的微博内容; 2. 用户发布的时间; 3. 用户的名称; (这里我并没有获取) 使用的工具 1. voku/simple_html_dom x-path读取工具 (如果不知道怎 ...
selenium+python抓取微博时遇到“展开全文”
抓取微博时遇到"展开全文"时,在网上搜的很多都是利用工具设置二级规则之类,尝试之后利用selenium+python直接模拟点击,抓取展开全文后的文本. 在此利用的是xpath定位 ...
python抓取微博热搜列表
20200912 - 今天收拾自己以前的代码,看到了很久之前写的一个抓取微博热搜的代码,最起码的两年了,然后跑了一下,居然还行,只不过并不是理想,数据上有些偏差,但是能用.功能就是每1分钟抓取一次,然 ...
利用 Python 自动抓取微博热搜，并定时发送至邮箱
点击上方"Python爬虫与数据挖掘",进行关注回复"书籍"即可获赠Python从入门到进阶共10本电子书今日鸡汤夜阑卧听风吹雨,铁马冰河入梦来. ...
Python selenium抓取微博内容的示例代码
Selenium简介与安装 Selenium是什么? Selenium也是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一样.支持的浏览器包括IE. ...
Python 3.6 抓取微博m站数据
Python 3.6 抓取微博m站数据 2019.05.01 更新内容 containerid 可以通过 "107603" + user_id 组装得到,无需请求个人信息获取: 优 ...
golang微博爬虫-无登录获取cookie抓取微博
使用爬虫框架 gathertool 框架地址: https://github.com/mangenotwork/gathertool 框架下载: go get github.com/mangenotw ...
使用Python抓取猫眼近10万条评论并分析
<一出好戏>讲述人性,使用Python抓取猫眼近10万条评论并分析,一起揭秘"这出好戏"到底如何? 黄渤首次导演的电影<一出好戏>自8月10日在全国上映,至 ...

2021年最新抓取微博所有图片，所有视频，所有评论，保存数据库excel

2021年最新抓取微博所有图片，所有视频，所有评论，保存数据库excel相关推荐

最新文章

热门文章