本文讲述爬取抖音APP视频数据(本文未完,后面还有很多地方优化总结)

公众号回复:抖音

即可获取源码

1、APP抓包教程,需要用到fiddler

fiddler配置和使用查看>>王者荣耀盒子APP抓包配置方法

2、寻找返回用户aweme_count和uid数据的接口

进入我关注的抖音用户主页,找到用户的抖音号并记录下来,该抖音号为unique_id(unique_id区别于uid)

用户主页有如下数据:如图所示

注:该页面并没有返回我们需要的uid数据,需要通过如下方式搜索,在另外一个页面抓包才能获取

抖音主页点击搜索图标

输入用户主页获取到的unique_id值,并点击搜索

进入该页面,切换到用户栏,该页面会返回我们需要的数据和接口

fiddler抓包,该接口返回我们需要的两个参数,作品数aweme_count和用户uid

上代码,input输入的为用户主页的unique_id,传入下面的方法中

拿到unique_id,我们请求接口,提取我们需要的数据aweme_count和uid,并打印成功,这一步结束

注:本网站为HTTPS加密,需要加verify=False参数,并要加headers

3、接下来寻找视频播放页面接口

手机切换到用户主页,会出现我们需要抓包的接口,因为用户主页有视频,自然接口在这里面

抓包,成功抓到下面图中所示的share_url接口,该接口需要我们传2个参数,就是上一步我们获取到的aweme_count和uid

注:share_url并不是最终我们真正下载视频的接口,需要对share_url返回的数据进一步提取,才能找到真正的视频接口

上代码,但该接口测试一些发现有些不方便用,经查阅网上一些资料,发现需要用到抖音之前的老接口,如代码中所示

这里获取得到的video_urls是一个假的视频接口,需要进一步提取真的视频接口

将video_urls传进下载视频的方法中,中间我调用了get_download_url方法,进一步提取真正的视频接口

提取真正视频接口,通过get请求假接口,在返回的一大坨响应中通过正则匹配提取

这里简单截图了两个视频接口的区别,这幅图是假的视频接口,虽然也有视频,但并不是真正的

下面这个才是我们真正的视频接口,整个页面只有一个视频,直接下载视频数据

至此,抖音爬取告一段落,还遗留两个问题,尚未完全搞出来

1、如何获取所有用户的抖音unique_id,而不必手动每次去查看后输入

2、如何去水印

这两个问题也已经尝试,没有那么容易,有兴趣的同学欢迎测试,有思路欢迎探讨

欢迎添加好友学习探讨,备注(CSDN)

---------------------
作者:python爬虫人工智能大数据
来源:CSDN
原文:https://blog.csdn.net/weixin_41666747/article/details/80501923
版权声明:本文为博主原创文章,转载请附上博文链接!

转载于:https://www.cnblogs.com/zgq123456/p/10063774.html

python爬取抖音APP视频教程相关推荐

  1. python爬app视频_python爬取抖音APP视频教程

    本文讲述爬取抖音APP视频数据(本文未完,后面还有很多地方优化总结) 公众号回复:抖音 即可获取源码 1.APP抓包教程,需要用到fiddler fiddler配置和使用查看>>王者荣耀盒 ...

  2. Python爬取抖音app视频

    作者:哈库呐玛塔塔 来源:https://urlify.cn/ANzAre 记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitm ...

  3. 青灯教育python免费公开课_如何使用Python爬取抖音APP视频

    记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitmproxy app自动化工具:appium 运行环境:windows10 假 ...

  4. 使用python爬取抖音app视频(appium可以操控手机)

    记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitmproxy app自动化工具:appium 运行环境:windows10 思 ...

  5. 教你用python爬取抖音app视频

    记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitmproxy app自动化工具:appium 运行环境:windows10 思 ...

  6. 使用python爬取抖音app视频

    记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitmproxy app自动化工具:appium 运行环境:windows10 思 ...

  7. 使用python爬取抖音app视频!谁说APP数据爬不了的!

    记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitmproxy app自动化工具:appium 运行环境:windows10 思 ...

  8. Python爬取 抖音 App短视频信息

    1. Charles获取视频接口  爬取之前先将手机与PC至于同局域网并确保手机WIFI的代理端口为8888,然后打开Charles获取视频请求的链接,如图: 2. 手动上滑触发视频请求接口   自动 ...

  9. 用Python爬取抖音短视频实战,如此简单

    前言 抖音,是一款可以拍短视频的音乐创意短视频社交软件,该软件于2016年9月上线,是一个专注年轻人的15秒音乐短视频社区.用户可以通过这款软件选择歌曲,拍摄15秒的音乐短视频,形成自己的作品.此AP ...

最新文章

  1. Nature重磅:管轶等发现穿山甲是SARS-CoV-2的中间宿主
  2. 关于webcontrols的TreeView中转义符的处理问题
  3. DCMTK:类DcmSigned64bitVeryLong的测试程序
  4. (Z)托尼?施瓦茨:六大关键几乎可以改变一切
  5. 第十二届蓝桥杯A组省赛试题 I: 双向排序(Java)
  6. 基于FPGA实现AD7609接口
  7. 巧用SQL的全局临时表防止用户重复登录
  8. sql提取字符串中的一部分数据_学会这三招提取字符串中的数字不用愁
  9. php十年磨一剑,十年磨一剑
  10. pandas 学习(四)—— 数据处理(清洗)、缺失值的处理
  11. 全面启动远程医疗行业
  12. 专访Two Sigma CEO Nobel: 当前AI投资有太多的炒作
  13. ORACLE表空间查看和扩展
  14. Subscription expires on 2017/2/25. Usage of PhpStorm will no longer be possible.
  15. ARP协议-路由交换原理5-【HCNA笔记】
  16. 计算机科学与技术的学习路线
  17. 树莓派命令连接wifi_使用命令行设置树莓派的wifi网络
  18. 【风马一族_气味】组成气味的基本成分探索
  19. UbuntuX11VNC教程
  20. matlab中pwelch函数计算功率谱密度

热门文章

  1. GO vs PHP ,谁更适合创业公司的中台搭建?(文末赠书)
  2. python type hint
  3. 计算机的数值与编码教程,计算机数据表示方法及工业标准IEEE754讲解教程
  4. lc0324 lc0325
  5. Cesium Render渲染(3):VBO(Buffer缓冲区),VAO(VBO的封装)和FBO(帧缓冲区)
  6. Cocos Creator资源管理AssetManager细说一二
  7. Redis入门笔记(1)(lrange用法)
  8. 用Cisco Packet Tracer和eNSP配置静态路由
  9. dcloud IOS 网络不通问题
  10. Android Studio 和 gradle 修改缓存文件夹路径