修复一些因为用户昵称中存在windows下文件（夹）名非法字符导致os无法写入读取的bug
简单看了一点python面向对象，将核心功能提取为crawler类，降低耦合
基于crawler类，分出两个文件，一个用于直接在python环境下跑代码，另一个则用于打包好exe一键运行
提供exe版本
代码功能如题，根据快手用户的id来爬取用户所有公开作品，包括图集和视频。
原理：其实就是利用基于chromium内核的浏览器自带的devtools对所有请求进行排查找出包含作品链接的请求，然后用代码模拟请求去获得数据，再根据url下载作品保存就行了，包括一些网站的自动注册登录、操作都可以模拟。这个其实应该算是写过爬虫的同学们都知道，我自己其实不怎么用过python，也没写过什么复杂的python项目，说的不对的还请多多包涵。如果有同学还是想让我讲一下怎么爬的，我考虑再做一期详细的，其实代码应该还是可以看得懂的2333
核心代码
废话不多说，上核心代码

def __crawl_user(self, uid):
if uid.isdigit():
uid = self.__switch_id(uid)

payload = {“operationName”: “privateFeedsQuery”,
“variables”: {“principalId”: uid, “pcursor”: “”, “count”: 999},
“query”: “query privateFeedsQuery($principalId: String, $pcursor: String, $count: Int) {\n privateFeeds(principalId: $principalId, pcursor: $pcursor, count: $count) {\n pcursor\n list {\n id\n thumbnailUrl\n poster\n workType\n type\n useVideoPlayer\n imgUrls\n imgSizes\n magicFace\n musicName\n caption\n location\n liked\n onlyFollowerCanComment\n relativeHeight\n timestamp\n width\n height\n counts {\n displayView\n displayLike\n displayComment\n __typename\n }\n user {\n id\n eid\n name\n avatar\n __typename\n }\n expTag\n __typename\n }\n __typename\n }\n}\n”}
res = requests.post(self.__data_url, headers=self.__headers, json=payload)

works = json.loads(res.content.decode(encoding=‘utf-8’, errors=‘strict’))[‘data’][‘privateFeeds’][‘list’]

if not os.path.exists("…/data"):
os.makedirs("…/data")

这两行代码将response写入json供分析

with open(“data/” + uid + “.json”, “w”) as fp:

fp.write(json.dumps(works, indent=2))

防止该用户在直播，第一个作品默认为直播，导致获取信息为NoneType

if works[0][‘id’] is None:
works.pop(0)
name = re.sub(r’[\/

如何制作快手评论用户uid采集软件器相关推荐

抖音活跃用户数据，抖音用户UID采集中如何区分是不是活跃用户
抖音的流量池巨大,各行各业在这个巨型流量池里都能找到自己的目标客户,所以衍生了一些了抖音营销相关的辅助软件,比如抖音用户UID采集软件! 但是正因为流量巨大所以有很多人和很多公司都在这上面营销,注册了 ...
最牛ks短视频评论采集软件
简介: 最牛ks视频评论采集软件可以帮助用户快速采集ks视频的评论,提供支持自定义采集视频评论,支持导出女或男,同时支持导出指定评论内容UID或抖音号,而且还可以自定义搜索指定用户,继而采集该用户作品 ...
抖音快手短视频批量去水印采集软件v1.8使用文档
本文的旨在教您如何快速学会使用由哼哼猫去水印提供的抖音快手短视频批量去水印采集软件v1.8版本. 一.下载和安装软件前往官方下载地址( http://jx.henghengmao.com/page/ ...
1. 用户行为采集平台概述
1. 用户行为采集平台概述数据仓库概念项目需求及架构设计项目需求分析项目框架技术选型系统数据流程设计框架版本选型服务器选型集群资源规划设计用户行为日志用户行为日志概述用户行为日 ...
网页图片采集-网页图片采集软件免费
一款免费的网页图片采集软件可以采集网页上的各种图片,每个人都可以采集到各种高清图源.支持任意格式的图片采集,只需要导入链接即可批量采集图片. 还有更多的采集方式:输入关键词全网图片采集/任意网站所有图 ...
多媒体课件制作快手 V8.7.09
多媒体课件制作快手 V8.7.09 讲座视频与文档合成打包并加密! 可以将您的讲座视频与文档合成打包加密在一起,用户可以一边看着您的文档,一边听讲座:打包后的课程必须得到您的授权才可以开启,支持各种视 ...
采集软件：自媒体必备神器，你掌握了吗？
随着互联网的发展,自媒体已经成为了一个热门话题.越来越多的人开始关注自媒体,想要利用这个平台来传播自己的思想.理念.观点或者产品.但是,对于很多人来说,如何获得内容是一个大问题.而采集软件就是解决这个 ...
ubuntu 压缩率最高的软件_不用写采集规则也可以轻松采集网站文章，揭秘一款明泽文章采集软件的工作原理...
一直以来,大家都在用各种各样的采集器或网站自带的采集功能,如织梦采集侠.火车头采集器.八爪鱼采集器等,这些采集软件都有一个共同的特点,就是要编写采集规则才能采集到文章,这个技术性的问题,对于新手来说, ...
制作一个让客户满意的软件
我看了<构建之法>的第八章"需求分析"我对如何制作一个让客户满意的软件有了一点儿头绪,的但是还是有一些迷惑.我通过看书总结和百度查找有了一点儿总结:我们在制作软件的过程 ...

如何制作快手评论用户uid采集软件器

这两行代码将response写入json供分析

with open(“data/” + uid + “.json”, “w”) as fp:

fp.write(json.dumps(works, indent=2))

防止该用户在直播，第一个作品默认为直播，导致获取信息为NoneType

如何制作快手评论用户uid采集软件器相关推荐

最新文章

热门文章