python爬取网易云课堂python课程

import requests
import xlsxwriterdef get_json(index):# 爬虫功能url = "https://study.163.com/p/search/studycourse.json"payload = {"activityId": 0,"keyword": "python","orderType": 5,"pageIndex": index,"pageSize": 50,"priceType": -1,"qualityType": 0,"relativeOffset": 0,"searchTimeType": -1,}headers = {"accept": "application/json","content-type": "application/json","origin": "https://study.163.com","user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36"}try:response = requests.post(url,json=payload,headers=headers)content = response.json()if content and content["code"] == 0:return contentreturn Noneexcept:print("出错了")def get_course(content):course_list = content["result"]["list"]return course_listdef save_excel(course_list):# 填充爬取的课程信息# page1  行数 1 50     50*(1-1) + 1# page2  行数 51 100   50*(2-1) + 1# page3  行数 101 150  50*(3-1) + 1for num,course in enumerate(course_list):row = 50*(index-1)+ num+1worksheet.write(row, 0, course["productId"])worksheet.write(row, 1, course["courseId"])worksheet.write(row, 2, course["productName"])worksheet.write(row, 3, course["provider"])worksheet.write(row, 4, course["score"])worksheet.write(row, 5, course["learnerCount"])worksheet.write(row, 6, course["lectorName"])worksheet.write(row, 7, course["originalPrice"])worksheet.write(row, 8, course["discountPrice"])worksheet.write(row, 9, course["bigImgUrl"])worksheet.write(row, 10, course["description"])def main(index):content = get_json(index)         # 获取json数据course_list = get_course(content) # 获取第index页的50条件记录save_excel(course_list)           # 写入到excelif __name__ == "__main__":# 存入excelworkbook = xlsxwriter.Workbook("网易云课堂Python课程数据.xlsx")  # 创建excelworksheet = workbook.add_worksheet("first_sheet")worksheet.write(0, 0, "商品id")worksheet.write(0, 1, "课程id")worksheet.write(0, 2, "课程名称")worksheet.write(0, 3, "机构名称")worksheet.write(0, 4, "评分")worksheet.write(0, 5, "学习人数")worksheet.write(0, 6, "讲师名称")worksheet.write(0, 7, "原价")worksheet.write(0, 8, "折扣价")worksheet.write(0, 9, "图片")worksheet.write(0, 10, "课程描述")total_page_count = get_json(1)["result"]["query"]["totlePageCount"] # 总页数for index in range(1,total_page_count+1):main(index)workbook.close()

python爬取网易云课堂python课程相关推荐

Python爬取网易云热歌榜所有音乐及其热评
获取特定歌曲热评: 首先,我们打开网易云网页版,击排行榜,然后点击左侧云音乐热歌榜,如图: 关于如何抓取指定的歌曲的热评,参考这篇文章,很详细,对小白很友好: 手把手教你用Python爬取网易云40万 ...
python爬取网易云音乐热评_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
python爬取网易云评论最多的歌_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
python爬取网易云音乐飙升榜音乐_python爬取网易云音乐热歌榜 python爬取网易云音乐热歌榜实例代码...
想了解python爬取网易云音乐热歌榜实例代码的相关内容吗,FXL在本文为您仔细讲解python爬取网易云音乐热歌榜的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:python,网易热歌榜 ...
python爬取网易云音乐飙升榜音乐_python爬取网易云音乐热歌榜实例代码
首先找到要下载的歌曲排行榜的链接,这里用的是: https://music.163.com/discover/toplist?id=3778678 然后更改你要保存的目录,目录要先建立好文件夹,例如我 ...
Python爬取网易云音乐热歌榜（爬虫）
Python爬取网易云音乐热歌榜歌曲,并下载到本地找到要下载歌曲排行榜的链接,这里用的是: https://music.163.com/discover/toplist?id=3778678 然后更 ...
python爬取网易云热歌榜
Python爬取网易云音乐热歌榜歌曲,并下载到本地找到要下载歌曲排行榜的链接,这里用的是: https://music.163.com/discover/toplist?id=3778678 #网易 ...
python爬取网易云音乐生成王力宏歌曲词云
python爬取网易云音乐生成王力宏歌曲词云 # -*- coding:utf-8 -*- # 网易云音乐,通过歌手id生成词云 import requests import sys,re,os fr ...
python爬取网易云音乐排行榜数据
python爬取网易云音乐排行榜歌曲及评论网易云音乐排行榜歌曲及评论爬取主要注意问题:selenium 模拟登录.iframe标签定位.页面元素提取. 在利用selenium定位元素并取值的过程中 ...
[爬虫]Python爬取网易云音乐搜索并下载歌曲!
Python爬取网易云音乐搜索并下载歌曲! 文章目录 Python爬取网易云音乐搜索并下载歌曲! 1.准备工作 2."实地"观察 3.开始码代码! 4.搜索并下载结束语 1.准备 ...

python爬取网易云课堂python课程

python爬取网易云课堂python课程相关推荐

最新文章

热门文章