Scrapy框架-阳光政务平台爬虫（二）

想要爬取的网站：微信读书
爬取内容：各个排行榜中的书名作者名详情页网站评分出版社出版日期
文末有工程文件

items.py设置

配置items.py文件
- items.py文件中NameItem(scrapy.Item)类中写入
```
name = scrapy.Field()
author = scrapy.Field()
grade = scrapy.Field()
press = scrapy.Field()
publish_date = scrapy.Field()
detail_url = scrapy.Field()
```
- 这一部分相当于整合信息条目，而且方便检查在写爬虫文件时的拼写错误

setting.py设置

开启并修改网络代理

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36 Edg/96.0.1054.29'
# agent可以在浏览器中任意页面的检查中找一个

添加日志打印等级
```
LOG_LEVEL = "WARNING"
```
开启pipeline交互，若不开启，爬虫文件的数据就无法传递给pipeline.py文件
```
ITEM_PIPELINES = {'yangguang.pipelines.YangguangPipeline': 300,
}
```

主爬虫内容

代码

   import scrapy
import re
from ..items import WxbookItemclass WxSpider(scrapy.Spider):name = 'wx'allowed_domains = ['weread.qq.com']start_urls = ['https://weread.qq.com/web/category/']  # 爬取的榜单页面def parse(self, response):# 1.大分类分组li_list = response.xpath('//ul[@class="ranking_list"]/li')for li in li_list:item = WxbookItem()rank_url = 'https://weread.qq.com' + li.xpath('./a/@href').extract_first()  # 各榜单url# print(rank_name_1, rank_href_1)yield scrapy.Request(rank_url,callback=self.parse_rank_0,  # 回调详情页爬虫程序meta={"item": item}  # 传递item数据)def parse_rank_0(self, response):item = response.meta["item"]# 2.小分类分组div_list = response.xpath('//div[@class="ranking_page_header"]/div/div')num_0 = re.sub("\D", "", response.url)rank_num = 0rank_url_2 = []try:for div in div_list:     # 根据页面url构造分榜单urlrank_num += 1for num in range(rank_num):rank_url_2.append('https://weread.qq.com/web/category/' + str(int(num_0)+num))for url in rank_url_2:yield scrapy.Request(url,callback=self.parse_rank_1,  # 回调详情页爬虫程序meta={"item": item}  # 传递item数据)except:passdef parse_rank_1(self, response):item = response.meta["item"]li_list = response.xpath('//ul[@class="ranking_content_bookList"]/li')for li in li_list:  # 分榜单页提取部分信息和详情页urlitem["author"] = li.xpath('./div[1]/div[2]/p[2]/a/text()').extract_first()item["grade"] = li.xpath('./div[1]/div[2]/p[3]/span[3]/span/text()').extract_first()item["detail_url"] = 'https://weread.qq.com' + li.xpath('./a/@href').extract_first()# print(item)yield scrapy.Request(item["detail_url"],callback=self.parse_detail,  # 回调详情页爬虫程序meta={"item": item}  # 传递item数据)def parse_detail(self, response):item = response.meta["item"]item["detail_url"] = response.url  # 提取剩余信息item["name"] = response.xpath('//div[@class="bookInfo_right"]/h2/div/text()').extract_first()item["author"] = response.xpath('//div[@class="bookInfo_right"]/div/a/text()').extract_first()item["press"] = response.xpath('//div[@class="wr_dialog"]/div/div/div[2]/span[2]/text()').extract_first()item["grade"] = response.xpath('//div[@class="book_ratings_container"]/div[2]/div[1]/span[1]/text()').extract_first()item["publish_date"] = response.xpath('//div[@class="wr_dialog"]/div/div/div[3]/span[2]/text()').extract_first()print(item)

几点注意事项
- 一定要导入item类，否则无法保存信息
- allowed_domains一定要写对，特别是自己定义的函数(parse_detail)所用的url一定要在allowed_domains的范围内，否则会不执行回调函数。
  比如回调函数请求网站：[https://book.douban.com/top250?start=1]
  而allowed_domains = [“douban.com”] 就无法正常回调

pipeline.py设置

代码

class WxbookPipeline:
def process_item(self, item, spider):print(item["name"])return item

自定义run.py

之前的文章说过，跑scrapy程序需要在命令行中输入scrapy crawl xxx
这种在命令行中的交互方式实在不方便，那我们在工程目录下定义一个run.py文件就可以直接在pycharm里运行这个run.py文件就能实现在pycharm里进行交互了。

代码

from scrapy import cmdlinecmdline.execute('scrapy crawl wx'.split())

结果

{'author': '黑格尔','detail_url': 'https://weread.qq.com/web/reader/bbe32a1072051bbdbbed499','grade': ' 90.0','name': '精神现象学·上卷（汉译世界学术名著丛书）','press': '商务印书馆','publish_date': '1979年6月'}

链接: 工程文件

Scrapy框架-阳光政务平台爬虫（二）相关推荐

dataObject可以去重吗java_python爬虫scrapy框架之增量式爬虫的示例代码
scrapy框架之增量式爬虫一 .增量式爬虫什么时候使用增量式爬虫: 增量式爬虫:需求当我们浏览一些网站会发现,某些网站定时的会在原有的基础上更新一些新的数据.如一些电影网站会实时更新最近热门的 ...
基于Scrapy框架的Python新闻爬虫
概述该项目是基于Scrapy框架的Python新闻爬虫,能够爬取网易,搜狐,凤凰和澎湃网站上的新闻,将标题,内容,评论,时间等内容整理并保存到本地详细代码下载:http://www.demoda ...
使用scrapy框架做赶集网爬虫
使用scrapy框架做赶集网爬虫一.安装首先scrapy的安装之前需要安装这个模块:wheel.lxml.Twisted.pywin32,最后在安装scrapy pip install wheel ...
scrapy框架之增量式爬虫
scrapy框架之增量式爬虫一 .增量式爬虫什么时候使用增量式爬虫: 增量式爬虫:需求当我们浏览一些网站会发现,某些网站定时的会在原有的基础上更新一些新的数据.如一些电影网站会实时更新最近热门的 ...
python scrapy 框架的简单使用爬虫苏宁易购图书信息
python scrapy 框架的简单使用&&爬虫苏宁易购图书信息前言第一步: 分析网页 1.1 找到要爬取的数据位置分类信息图书信息价格信息 1.2 分析如何获取数据正则 ...
python新闻爬虫系统的功能_基于Scrapy框架的Python新闻爬虫
一.开发背景 Python作为数据处理方面的一把好手,近年来的热度不断增长.网络爬虫可以说是Python最具代表性的应用之一,那么通过网络爬虫来学习Python以及网络和数据处理的相关内容可以说是再合 ...
Scrapy框架中的crawlspider爬虫
1 crawlspider是什么在spider中要寻找下一页的url地址或者内容的url地址,想想是否有简单的方法省略寻找url的过程? 思路: 从response中提取所有的满足规则的url地址 ...
python的scrapy框架的安装_Python爬虫基础（四）--Scrapy框架的安装及介绍
Scrapy框架的介绍安装: pip3 install Scrapy 安装测试: cmd命令行界面,输入:scrapy -h 框架安装完成: scrapy框架: 分为五个模块+两个中间件(5+2结构 ...
python scrapy框架简书_python爬虫框架——Scrapy架构原理介绍
说起写爬虫,大多数第一时间想到的就是python了.python语法简洁明了,加上及其丰富好用的库,用它来写爬虫有天然的优势. 之前学python的时候也用requests+lxml写过几个爬虫玩,但 ...
python scrapy框架详解_Python爬虫知识点四--scrapy框架
一.scrapy结构数据解释: 1.名词解析: o 引擎(Scrapy Engine) o 调度器(Scheduler) o 下载器(Downloader) o 蜘蛛(Spiders) o ...

Scrapy框架-阳光政务平台爬虫（二）

Scrapy框架-阳光政务平台爬虫（二）

items.py设置

setting.py设置

主爬虫内容

pipeline.py设置

自定义run.py

结果

Scrapy框架-阳光政务平台爬虫（二）相关推荐

最新文章

热门文章