用python爬取i春秋的课程名

看课中内容是用get请求进行爬取课程，自己实践的时候发现已经被改成post请求了，下面开始

打开课程页面

我用的火狐，然后就是F12，点击网络，可能会有很多包，但不影响，点击删除就行，然后点击第二页,其他页面也行，可以看出总共是有17页的

然后会出现很多包，找到下面这个，点击查看

点击后会看到消息头请求网址，这个就是我们要用的url

复制到代码中

i_url = 'https://www.ichunqiu.com/courses/ajaxCourses'

接下来查看参数

然后发现“pageIndex”，很明显是指的第几页，可以试一下第四页数值是4，，，。这是post要用的表单数据，搞进代码，因为pageIndex值需要改变，我将它设为空值

post_data = {'courseTag':'','courseDiffcuty':'','IsExp':'','producerId':'','orderField':'','orderDirection':'','pageIndex':'','tagType':''}

由于i春秋设置了防爬虫处理，因此我们需要添加headers，headers就不多说了（不想暴露自己的配置，我不会告诉你我还用的xp），用火狐很简单，点击编辑重发，复制就行。接下来就是查看响应

很明显这是json数据，先import json再说，可以找到课是在course中的result下，从0开始，我们可以用“len(raw_data['course']['result'])”查看该页面有几个课程，用raw_data['course']['result'][0][‘courseName’]来获取第一个课程名字，下面是代码

#-------------
#Author:Glasses
#-------------
import requests
import jsondef getData():i_url = 'https://www.ichunqiu.com/courses/ajaxCourses'headers = {}
#headers 自己填for p_index in range(1,18):post_data = {'courseTag':'','courseDiffcuty':'','IsExp':'','producerId':'','orderField':'','orderDirection':'','pageIndex':'','tagType':''}post_data['pageIndex'] = p_indexr = requests.post(i_url,headers=headers,data=post_data,timeout=10)raw_data = json.loads(r.text)for i in range(len(raw_data['course']['result'])):print raw_data['course']['result'][i]['courseName']getData()

来i春秋一起学习吧，

进阶吧！小白，只要摔不死我就继续摔！

转载于:https://www.cnblogs.com/glasses/p/8492459.html

用python爬取i春秋的课程名相关推荐

i春秋python_用python爬取i春秋的课程名
看课中内容是用get请求进行爬取课程,自己实践的时候发现已经被改成post请求了,下面开始我用的火狐,然后就是F12,点击网络,可能会有很多包,但不影响,点击删除就行,然后点击第二页,其他页面也行, ...
i春秋python_用python爬取i春秋的课程
看课中内容是用get请求进行爬取课程,自己实践的时候发现已经被改成post请求了,下面开始我用的火狐,然后就是F12,点击网络,可能会有很多包,但不影响,点击删除就行,然后点击第二页,其他页面也行, ...
Python爬取网站用户手机号_利用python爬取慕课网站上面课程
1.抓取网站情况介绍抓取网站:http://www.imooc.com/course/list 抓取内容:要抓取的内容是全部的课程名称,课程简介,课程URL ,课程图片URL,课程人数(由于动态渲染 ...
Python爬取中国大学MOOC课程信息
问题:获取中国大学MOOC平台的课程信息,包括开课学校.课程类别(标签).课程名称.课程评分.评价人数和已参加课程人数. 思路: 1.进入中国大学MOOC首页,点击"学校",进入学 ...
Python 爬取中国大学 MOOC 课程
MOOC 课程存在有效期,设定的学期结束即无法观看. Course Crawler 这个爬虫工具的出现,则提供了极大的便利. 准备第一步:安装 Python 3 环境进入 Python 3 官网( ...
python大学课程-Python 爬取中国大学 MOOC 课程
中国大学 MOOC 是网易旗下一款慕课视频教育网站.实话说,这是网易几款教育类产品中,我最喜欢的一个.自己也使用了一年多,观看视频都是需要联网的,但部分 MOOC 课程存在有效期,设定的学期结束即无法 ...
Python爬取天猫店铺的企业名1：根据店铺名获得店铺链接
2020年12月31日更新项目说明: 最近遇到一个项目,项目需求大致是这样的:有一批天猫店铺名,需要根据店铺名获得店铺的认证企业名. 项目分析: 这个项目可以分为以下几个步骤: 1.根据店铺名搜索获 ...
python爬取MOOC课程信息
MOOC课程信息爬取时间 :2019-10-12 一.任务与目标网站地址 http://www.imooc.com/course/list/ 2. 采用scrapy爬虫框架爬取信息包括:课程名称 ...
python关于二手房的课程论文_基于python爬取链家二手房信息代码示例
基本环境配置 python 3.6 pycharm requests parsel time 相关模块pip安装即可确定目标网页数据哦豁,这个价格..................看到都觉得脑阔 ...

用python爬取i春秋的课程名

用python爬取i春秋的课程名相关推荐

最新文章

热门文章