Python-教你用requests爬取网易云课堂热门课程。

2024-05-10 21:15:35

分享一下使用requests的经验。

先附上代码。哦对了，如果你不知道payload和headers怎么获取，参考下：https://blog.csdn.net/Sunyoho/article/details/117587516

import requests
import time
i = 0
c = 1
n = input("How many classes do you want to give:")
for i in range(0,int(n)):payload = {'pageIndex': 1,'pageSize:': 50,'relativeOffset': 0,'searchTimeType': -1,'orderType': 50,}headers = {'accept': 'application/json','content-type': 'application/json','User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/91.0.4472.77 Safari/537.36'}url = 'https://study.163.com/j/search/hotwords.json?hotwordType=0'response = requests.post(url, headers=headers, json=payload)g = response.json()print(c,' ',g['result']['recomHotword'][1]['name'],':',g['result']['recomHotword'][1]['url'])c = c + 1time.sleep(1)

先导入你的requests，然后导入time防止连续爬虫导致崩溃，让他缓一缓，这里的n是获取网页数据的次数，说白了就是for循环的次数，先创建payload，把网页携带的一些参数复制上去，这不用说了吧，在你想要查询的网页右键-“检查”-然后选择network，requests headers就好了，里面url和参数都在里面。

Headers哪里来？

跟payload一样，requests headers里面有User-Agent和别的，写全一点。

URL？

URL也在json文件里，自己去复制吧。

爬取数据，耶！

payload和url设置好后，开始爬取吧，定义一个变量response，我们用post方法把参数urlpayload都写进去。设好后，创建g，用来转换json，最后输出，整条整条显示太繁琐了，直接显示name和url，代码里有，这个c是序号，加1就好了，最后请加个time.sleep（1），防止崩溃。

成功了！

运行程序，链接会一条条出现，这感觉！

1   英语 : https://study.163.com/course/introduction/1004495007.htm
2   数据可视化 : https://mooc.study.163.com/smartSpec/detail/1202883605.htm
3   相见恨晚，雅思一次冲7 : https://ke.study.163.com/course/detail/100082387?Pdt=ydk&inLoc=app_ss_zdssc
4   零基础入门C语言 : https://study.163.com/sl/VRC4?Pdt=ydk&inLoc=app_ss_zdssc
5   数据可视化 : https://mooc.study.163.com/smartSpec/detail/1202883605.htm

三连！我要去吃饭了！

Python-教你用requests爬取网易云课堂热门课程。相关推荐

Python爬虫——教你js逆向爬取网易云评论
大家好!我是霖hero 正所谓条条道路通罗马,上次我们使用了Selenium自动化工具来爬取网易云的音乐评论,Selenium自动化工具可以驱动浏览器执行特定的动作,获得浏览器当前呈现的页面的源代码, ...
python听歌识曲爬虫_Python爬取网易云音乐热门评论的搜索结果-阿里云开发者社区...
网易云音乐评论爬虫(三):爬取歌曲的全部评论用过网易云音乐听歌的朋友都知道,网易云音乐每首歌曲后面都有很多评论,热门歌曲的评论更是接近百万或者是超过百万条．现在我就来分享一下如何爬取网易云音乐歌曲的 ...
Python Scrapy 多线程爬取网易云音乐热门歌单信息（手把手教学）
下面我将向大家介绍使用 Scrapy 爬虫获取网易云音乐的热门歌单信息. 这里是网易云音乐的歌单页面,可以看到歌单信息非常得结构化,是非常适合爬虫来爬取的. URL:全部歌单 - 歌单 - 网易云 ...
python播放在线音乐_Python爬取网易云音乐播放地址
本帖最后由 bbbbbd 于 2017-9-25 12:13 编辑 Python爬取网易云音乐播放地址运行环境:Python2.7 一.分析目标网站首先打开网易云音乐的官网,在搜索列表中随便搜索一 ...
【python爬虫自学笔记】-----爬取网易云歌单中歌曲歌词
工具:python3.6 ,pycharm 个人歌单的链接地址为https://music.163.com/#/playlist?id=2251736705 开始对网页的内容进行爬取的时候,使用req ...
用Python给我写一个爬取网易云的音乐代码
好的,为了爬取网易云音乐,我们需要使用一些第三方库来帮助我们处理网络请求和解析 HTML/XML 数据.在这里,我建议您使用 requests 库来发送网络请求和 Beautiful Soup 库来解 ...
PHP爬虫爬取网易云音乐热门评论
说起爬虫,恐怕第一个想到的都是Python,PHP的就少之又少. 得空闲下来,自己用PHP做了一个爬虫,爬取网易云音乐的热门评论. 效果图: 下面简单说一下思路首先,在网易云官网排行榜内,审查元素, ...
爬虫入门——用python爬取网易云音乐热门歌手评论数
本文参考Monkey_D_Newdun 的文章 https://blog.csdn.net/Monkey_D_Newdun/article/details/79318629 用爬虫获取网易云音乐热门歌 ...
python网络爬虫-爬虫实战-(爬取网易云薛之谦歌单里歌曲并下载)
1.导入要用到的库 #导入库 import requests from fake_useragent import UserAgent from lxml import etree import re ...
【python】爬虫入门：爬取网易云音乐的歌曲评论、用户歌单、用户听歌记录等
目录一.概述二.爬取流程 1.爬取评论 1.1.资源定位 1.2.爬取准备 1.3.代码实现 2.爬取听歌记录 2.1.资源定位 2.2.爬取准备 2.3.js劫持三.总结一.概述第一次学爬 ...

最新文章

热门文章