Scrapy实例————爬取学堂在线合作院校页面内容

目标

通过Scrapy爬取到合作院校的名称及该所院校在学堂在线开课的数量，将爬取到的数据保存到一个json文件中，例如：“清华大学,308”，地址 http://www.xuetangx.com/partners 。

环境

博主是在Windows平台使用PyCharm基于Python 3.7和Scrapy 2.0.1编写爬虫，不赘述环境配置了。

建立项目

右键Scrapy文件夹，选择在终端中打开

在终端中输入scrapy startproject xtzx，其中xtzx为项目名（忽略图中lianjia，只是博主懒得再重新截图了，下同）。

新建begin.py

在项目文件夹中新建begin.py，内容为：

from scrapy import cmdline
cmdline.execute("scrapy crawl xtzx".split())

其中xtzx为爬虫名（无须与项目名相同）。目的是为了方便运行爬虫。否则，需要在终端手动输入scrapy crawl xtzx来运行

更改`items.py`

import scrapy
class MyItem (scrapy.Item):school = scrapy.Field()num = scrapy.Field()

分析网页

右键爬取内容，检查，以下以school为例讲解。
复制三个school的xpath路径，不难找到规律。

/html/body/article[1]/section/ul/li[1]/a/div[2]/h3
/html/body/article[1]/section/ul/li[2]/a/div[2]/h3
/html/body/article[1]/section/ul/li[3]/a/div[2]/h3

新建并更改`spider.py`

在spider文件夹中新建spider.py，并键入：

import scrapy
from xtzx.items import MyItem
class mySpider(scrapy.spiders.Spider):name = "xtzx"allowed_domains = ["xuetangx.com"]start_urls = ["http://www.xuetangx.com/partners"]def parse(self, response):item = MyItem ()#开课院校for each in response.xpath("/html/body/article[1]/section/ul/*"): item['school'] = each.xpath("a/div[2]/h3/text()").extract()item['num'] = each.xpath("a/div[2]/p/text()").extract()yield item #edX合作院校和伙伴for each in response.xpath("/html/body/article[2]/section/ul/*"): item['school'] = each.xpath("a/div[2]/h3/text()").extract()item['num'] = each.xpath("a/div[2]/p/text()").extract()yield(item)

更改`setting.py`

#不遵守机器人协议
ROBOTSTXT_OBEY = False
BOT_NAME = 'xtzx'
SPIDER_MODULES = ['xtzx.spiders']
NEWSPIDER_MODULE = 'xtzx.spiders'
#开启管道
ITEM_PIPELINES = {'xtzx.pipelines.MyPipeline': 300,}
#客户端伪装
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36'

更改`pipelines.py`

import json
class MyPipeline (object):#打开文件def open_spider (self,spider):try:self.file = open('MyData.json ', "w", encoding="utf-8")except Exception as err:print(err)#写入def process_item (self, item, spider):dict_item = dict (item)# 生成 json 串json_str = json.dumps(dict_item , ensure_ascii=False) + "\n" self.file.write(json_str)return item#关闭文件def close_spider (self,spider):self.file.close()

运行爬虫

运行begin.py，成功爬取到数据。这里只列举部分数据。

{"school": ["清华大学"], "num": ["31门课程"]}
{"school": ["台湾清华大学"], "num": ["0门课程"]}
{"school": ["台湾交通大学"], "num": ["0门课程"]}
{"school": ["斯坦福大学"], "num": ["0门课程"]}
{"school": ["中央社会主义学院"], "num": ["0门课程"]}
{"school": ["西安交通大学"], "num": ["16门课程"]}
{"school": ["中南财经政法大学"], "num": ["3门课程"]}
{"school": ["复旦大学"], "num": ["0门课程"]}
{"school": ["北京理工大学"], "num": ["0门课程"]}
{"school": ["中国科学技术大学"], "num": ["0门课程"]}

交流讨论等具体内容请访问我的博客

原文地址：https://www.boyinthesun.cn/post/python-scrapy1/

Scrapy实例————爬取学堂在线合作院校页面内容相关推荐

七、Python简单爬取学堂在线合作院校页面内容
这是一个大学生的爬虫作业,我是收钱干活的,比较简单,来过来分享一下. 就是要爬取到合作院校的名称及该所院校在学堂在线开课的数量,将爬取到的数据保存到一个json文件中!例如:"{" ...
python 爬虫-爬取学堂在线合作院校
关键词:动态页面 JavaScript接口绕过网页直接爬取信息亲测有效,转自https://blog.csdn.net/weixin_43873801/article/details/109689 ...
北邮 python 学堂在线动态请求页面内容爬取
声明:用途仅供学习使用实验一爬取学堂在线: 一．实验题目爬取学堂在线的计算机类课程页面内容点击跳转学堂在线要求将课程名称.老师.所属学校和选课人数信息,保存到一个csv文件中. 二．实验环境 ...
边学边敲边记之爬虫系列(八)：Scrapy系统爬取伯乐在线
一.前言上一篇边学边敲边记爬虫系列七给大家仔细讲解了如何用Xpath分类爬取医疗信息网站医疗器材名称和介绍图片,以及三种最常用的存储方法. 本篇是本系列的第八篇了,今天给大家讲讲如何用Scrapy分 ...
scrapy实例 ----- 爬取小说
参考: 静觅scrapy教程爬取目标:顶点小说网 http://www.23us.com/ 希望顶点小说网不要生气首先来编写items.py #-*- coding:utf-8 -*- # Def ...
学堂在线 python_Python作业1：Scrapy爬取学堂在线+链家二手房
import scrapy import json from pprint import pprint from studyHall.items import StudyhallItem class ...
Python scrapy爬虫爬取伯乐在线全部文章，并写入数据库
伯乐在线爬虫项目目的及项目准备: 1.使用scrapy创建项目 2.创建爬虫,bole 域名 jobbole.com 3.Start_urls = ['http://blog.jobbole.com/ ...
Scrapy实例:爬取中国天气网天气数据
1.创建项目在你存放项目的目录下,按shift+鼠标右键打开命令行,输入命令创建项目: PS F:\ScrapyProject> scrapy startproject weather # w ...
Scrapy 实例——爬取豆瓣图书排名top250
1.安装 pip install E:\python\lxml-4.2.6-cp36-cp36m-win_amd64.whl pip install E:\python\Twisted-18.9.0- ...

Scrapy实例————爬取学堂在线合作院校页面内容

目标

环境

建立项目

新建begin.py

更改`items.py`

分析网页

新建并更改`spider.py`

更改`setting.py`

更改`pipelines.py`

运行爬虫

交流讨论等具体内容请访问我的博客

Scrapy实例————爬取学堂在线合作院校页面内容相关推荐

最新文章

热门文章

Scrapy实例————爬取学堂在线合作院校页面内容

目标

环境

建立项目

新建begin.py

更改items.py

分析网页

新建并更改spider.py

更改setting.py

更改pipelines.py

运行爬虫

交流讨论等具体内容请访问我的博客

Scrapy实例————爬取学堂在线合作院校页面内容相关推荐

最新文章

热门文章

更改`items.py`

新建并更改`spider.py`

更改`setting.py`

更改`pipelines.py`