Python案例: 采集糖豆网站的数据内容

前言

嗨喽，大家好呀~这里是爱看美女的茜茜呐

素材、教程、代码、插件安装教程我都准备好了，直接点击此处跳转文末名片领取

环境:

python 3.8
pycharm 2022.3专业版

模块:

requests

第三方模块安装：

requests 是导入数据请求模块，属于第三方模块，

需要在cmd里面或者pycharm终端里面进行安装 pip install requests 安装。

代码实现步骤：

发送请求
获取数据
解析数据
保存数据

采集网站：

代码展示：

（这里网址我就屏蔽啦~你们自行添加或文末名片获取完整代码）

导入数据请求模块

import requests

请求链接

url = 'https:// ******** /mtangdou/home/feed?page=2&num=32&uuid=1672409139172_3256'

伪装

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}

发送请求

response = requests.get(url=url, headers=headers)

for循环遍历, 键值对取值

for index in response.json()['data']:video_id = index['vid'] # videoIDtitle = index['title'] # 标题print(video_id, title)

字符串格式化方法, 把ID传入到字符串中

    link = f'https://******/mtangdou/video/play?vid={video_id}&uuid='

发送请求获取json数据

    json_data = requests.get(url=link, headers=headers).json()

字典取值提取播放链接

    play_url = json_data['data']['play_url']print(play_url)

伪装请求头

    headers_1 = {'Referer': 'http://******/','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'}

发送请求获取视频二进制数据

    video_content = requests.get(url=play_url, headers=headers_1).content

数据保存

    with open('video\\' + title + '.mp4', mode='wb') as f:f.write(video_content)

尾语

感谢你观看我的文章呐~本次航班到这里就结束啦

Python案例: 采集糖豆网站的数据内容相关推荐

Python就业前景怎么样？来用Python采集一下招聘网站的数据信息吧
前言学习python的就业前景怎么样呢,不妨我们用python来采集一些招聘网的数据信息,看看行情怎么样前期准备模块使用 requests pandas pyecharts 开发环境版本: ...
Python批量采集亚马逊商品数据 (含完整源代码)
前言嗨喽 ! 大家好吖,这里是魔王~ 亚马逊公司,是美国最大的一家网络电子商务公司,位于华盛顿州的西雅图是网络上最早开始经营电子商务的公司之一,亚马逊成立于1994年今天教大家用Python批量 ...
单身福利专场, Python采集某相亲网站美女数据
前言嗨喽~大家好呀,这里是魔王呐 ❤ ~! 现在,广大年轻人到了一定年纪,一定会引来父母的念叨不是让相亲就是让结婚的,与其父母念叨,不如自己找一个到时候问起来,就说再接触呢~~ 今天我们就来用p ...
什么品种的猫最受欢迎？Python爬取猫咪网站交易数据
本篇文章是关于某化妆品企业的销售分析.从分析思路开始带大家一步步地用python进行分析,找出问题,并提出解决方案的整个流程. 以下文章来源于修炼Python 作者:叶庭云 Python爬虫.数据分析 ...
Python爬虫-采集某车平台二手车数据
前言本文是该专栏的第19偏,后面会持续分享python的干货知识,记得关注. 想要获取汽车价格信息的平台有很多,或者是想购买新车又或是想置换新车的朋友来说,能及时了解汽车的价格行情那是自然非常方便, ...
Python案例——采集专栏文章保存成pdf
前言嗨喽,大家好呀~这里是爱看美女的茜茜呐环境使用: python 3.8 >>>>>> 运行代码 pycharm 2022.3 >>>> ...
Python 批量采集 shopee 虾皮商品详情数据、多站点整站实时采集
一.如何通过手动方式查看 shopee 商品详情页面的数据 1.Shopee 商品详情 API 接口(item_get - 获得 Shopee 商品详情接口),ShopeeAPI 接口代码对接可以获取 ...
Python之采集速卖通商品数据
访问网页类: 1.模拟浏览器登陆,获取cookies 2.利用requests访问页面源码 3.cookies具有时效性,如果超出设定时间则重新登陆并更新它 class Browser:req = N ...
利用爬虫爬取看看豆网站站的数据信息
其实很早我就开始关注爬虫技术,这两天特别学习了一下,并且做了一个简单的demo.爬取了看看豆网站的数据信息.总共11751本书,爬取了不到3个小时,基本每秒爬取1条.速度慢的原因主要是单线程,使用my ...

Python案例: 采集糖豆网站的数据内容

前言

素材、教程、代码、插件安装教程我都准备好了，直接点击此处跳转文末名片领取

环境:

模块:

代码实现步骤：

代码展示：

尾语

Python案例: 采集糖豆网站的数据内容相关推荐

最新文章

热门文章