Python爬取抖音 App短视频信息

1. Charles获取视频接口

爬取之前先将手机与PC至于同局域网并确保手机WIFI的代理端口为8888，然后打开Charles获取视频请求的链接，如图：

2. 手动上滑触发视频请求接口

自动化滑动刷新有尝试过，但是由于技术有限，不能实现抖音APP的登录，所以用Charles只能获取视频下载链接，而不能获取其他有效信息，比如视频的名称、作者名称、获赞数、转发量等。

3. Python脚本获取视频信息

使用Python脚本拦截response爬取视频信息并下载视频，同时将视频信息存储至JSON。

4. 视频无水印

如图：

from mitmproxy import ctx
import json
import requests
import time
import os
'''
想要学习Python？Python学习交流群：984632579满足你的需求，资料都已经上传群文件，可以自行下载！
'''
def response(flow):"""抓取抖音标题、APP视频链接、作者、抖音ID、发布时间、获赞数、评论和转发数等信息, 并将结果保存为JSON格式.:return: None"""# 通过Charles获取的抖音视频信息的URL接口url = 'https://api.amemv.com/'if flow.request.url.startswith(url):# 获取服务器返回的响应text = flow.response.text# 转化为Json格式dyjson = json.loads(text)info = ctx.log.info# 获取视频列表aweme_list = dyjson.get('aweme_list')# 遍历列表，获取每个视频的相应数据for i in range(len(aweme_list)):# 视频标题title = aweme_list[i].get('share_info').get('share_title')# 视频链接videourl = aweme_list[i].get('video').get('play_addr').get('url_list')[0]# 保存视频res = requests.get(videourl, stream=True)# 规范文件命名_str = ['\\', '/', ':', '*', '?', '"', '<', '>', '|', '.', '..', '？']for _ in _str:if _ in title:title.replace(_, '')# 判断文件路径是否存在save_dir = './video/'if not os.path.exists(save_dir):os.mkdir(save_dir)with open('{}/{}.mp4'.format(save_dir, title), 'wb') as f:f.write(res.content)# 作者名称nickname = aweme_list[i].get('author').get('nickname')# 抖音IDshort_id = aweme_list[i].get('author').get('short_id')# 发布时间create_time = aweme_list[i].get('create_time')# 格式化create_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(create_time))# 获赞、评论、转发数digg_count = aweme_list[i].get('statistics').get('digg_count')comment_count = aweme_list[i].get('statistics').get('comment_count')share_count = aweme_list[i].get('statistics').get('share_count')# 显示所有获取信息info("标题:" + title)info("URL：" + videourl)info("作者: " + nickname)info("ID: " + short_id)info("发布时间: " + create_time)info("获赞：" + str(digg_count))info("评论：" + str(comment_count))info("转发：" + str(share_count))info('-'*80)# 保存为json文件data = {'title': title,'url': videourl,'nickname': nickname,'douyin_id': short_id,'create_time': create_time,'diggs': digg_count,'commments': comment_count,'shares': share_count}# 下载视频with open('./douyin.json', 'a', encoding='utf-8') as f:f.write(json.dumps(data, indent=2, ensure_ascii=False))f.write(', \n')

Python爬取抖音 App短视频信息相关推荐

python爬取抖音APP视频教程
本文讲述爬取抖音APP视频数据(本文未完,后面还有很多地方优化总结) 公众号回复:抖音即可获取源码 1.APP抓包教程,需要用到fiddler fiddler配置和使用查看>>王者荣耀盒 ...
Python爬取抖音app视频
作者:哈库呐玛塔塔来源:https://urlify.cn/ANzAre 记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitm ...
青灯教育python免费公开课_如何使用Python爬取抖音APP视频
记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitmproxy app自动化工具:appium 运行环境:windows10 假 ...
使用python爬取抖音app视频（appium可以操控手机）
记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitmproxy app自动化工具:appium 运行环境:windows10 思 ...
教你用python爬取抖音app视频
记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitmproxy app自动化工具:appium 运行环境:windows10 思 ...
使用python爬取抖音app视频
记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitmproxy app自动化工具:appium 运行环境:windows10 思 ...
使用python爬取抖音app视频！谁说APP数据爬不了的！
记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitmproxy app自动化工具:appium 运行环境:windows10 思 ...
python 爬取抖音个人分享页面信息保存到数据库
注释:本文仅用于技术学习 1.分享链接存入缓存redis 2.python读取缓存队列信息 3.访问页面解析页面的值 4.存入mysql数据库 redis缓存如图事先存入队列,数据库存储结果数据库结 ...
用Python爬取抖音短视频实战，如此简单
前言抖音,是一款可以拍短视频的音乐创意短视频社交软件,该软件于2016年9月上线,是一个专注年轻人的15秒音乐短视频社区.用户可以通过这款软件选择歌曲,拍摄15秒的音乐短视频,形成自己的作品.此AP ...

Python爬取抖音 App短视频信息

Python爬取抖音 App短视频信息相关推荐

最新文章

热门文章

Python爬取 抖音 App短视频信息

Python爬取 抖音 App短视频信息相关推荐

最新文章

热门文章

Python爬取抖音 App短视频信息

Python爬取抖音 App短视频信息相关推荐