【Python实现网络爬虫】Scrapy爬取网易新闻(仅供学习交流使用!)
目录
- 1. 新建项目
- 2. 修改itmes.py文件
- 3. 定义spider,创建一个爬虫模板
- 3.1 创建crawl爬虫模板
- 3.2 补充知识:selectors选择器
- 3.3. 分析网页内容
- 主体
- 标题
- 时间
- 分类
- 4. 修改spider下创建的爬虫文件
- 4.1 导入包
- 最终代码
1. 新建项目
在命令行窗口下输入scrapy startproject scrapytest
, 如下
然后就自动创建了相应的文件,如下
2. 修改itmes.py文件
打开scrapy框架自动创建的items.py文件,如下
# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.htmlimport scrapyclass ScrapytestItem(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()pass
编写里面的代码,确定我要获取的信息,比如新闻标题,url,时间,来源,来源的url,新闻的内容等
class ScrapytestItem(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()title = scrapy.Field()timestamp = scrapy.Field()category = scrapy.Field()content = scrapy.Field()url = scrapy.Field()pass
3. 定义spider,创建一个爬虫模板
3.1 创建crawl爬虫模板
在命令行窗口下面 创建一个crawl爬虫模板(注意在文件的根目录下面,指令检查别输入错误,-t 表示使用后面的crawl模板),会在spider文件夹生成一个news163.py文件
scrapy genspider -t crawl codingce news.163.com
然后看一下这个‘crawl’模板和一般的模板有什么区别,多了链接提取器还有一些爬虫规则,这样就有利于我们做一些深度信息的爬取
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Ruleclass CodingceSpider(CrawlSpider):name = 'codingce'allowed_domains = ['163.com']start_urls = ['http://news.163.com/']rules = (Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),)def parse_item(self, response):item = {}#item['domain_id'] = response.xpath('//input[@id="sid"]/@value').get()#item['name'] = response.xpath('//div[@id="name"]').get()#item['description'] = response.xpath('//div[@id="description"]').get()return item
3.2 补充知识:selectors选择器
支持xpath和css,xpath语法如下
/html/head/title/html/head/title/text()//td (深度提取的话就是两个/)//div[@class=‘mine’]
3.3. 分析网页内容
在谷歌chrome浏览器下,打在网页新闻的网站,选择查看源代码,确认我们可以获取到itmes.py文件的内容(其实那里面的要获取的就是查看了网页源代码之后确定可以获取的)
确认标题、时间、url、来源url和内容可以通过检查和标签对应上,比如正文部分
https://www.163.com/dy/article/G570TESI05372M9P.html?f=post2020_dy_recommends
主体
标题
时间
分类
4. 修改spider下创建的爬虫文件
4.1 导入包
打开创建的爬虫模板,进行代码的编写,除了导入系统自动创建的三个库,我们还需要导入news.items(这里就涉及到了包的概念了,最开始说的–init–.py文件存在说明这个文件夹就是一个包可以直接导入,不需要安装)
注意:使用的类ExampleSpider一定要继承自CrawlSpider,因为最开始我们创建的就是一个‘crawl’的爬虫模板,对应上
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapytest.items import ScrapytestItemclass CodingceSpider(CrawlSpider):name = 'codingce'allowed_domains = ['163.com']start_urls = ['http://news.163.com/']rules = (Rule(LinkExtractor(allow=r'.*\.163\.com/\d{2}/\d{4}/\d{2}/.*\.html'), callback='parse', follow=True),)def parse(self, response):item = {}content = '<br>'.join(response.css('.post_content p::text').getall())if len(content) < 100:returnreturn item
Rule(LinkExtractor(allow=r’..163.com/\d{2}/\d{4}/\d{2}/..html’), callback=‘parse’, follow=True), 其中第一个allow里面是书写正则表达式的(也是我们核心要输入的内容),第二个是回调函数,第三个表示是否允许深入
最终代码
from datetime import datetime
import reimport scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapytest.items import ScrapytestItemclass CodingceSpider(CrawlSpider):name = 'codingce'allowed_domains = ['163.com']start_urls = ['http://news.163.com/']rules = (Rule(LinkExtractor(allow=r'.*\.163\.com/\d{2}/\d{4}/\d{2}/.*\.html'), callback='parse', follow=True),)def parse(self, response):item = {}content = '<br>'.join(response.css('.post_content p::text').getall())if len(content) < 100:returntitle = response.css('h1::text').get()category = response.css('.post_crumb a::text').getall()[-1]print(category, "=======category")time_text = response.css('.post_info::text').get()timestamp_text = re.search(r'\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}', time_text).group()timestamp = datetime.fromisoformat(timestamp_text)print(title, "=========title")print(content, "===============content")print(timestamp, "==============timestamp")print(response.url)return item
项目地址:https://gitee.com/codingce/codingce-scrapy
【Python实现网络爬虫】Scrapy爬取网易新闻(仅供学习交流使用!)相关推荐
- lofter 爬虫_Python网络爬虫1 - 爬取网易LOFTER图片
LOFTER是网易出品的优质轻博客,灵感源于国外的tumblr,但比之更加文艺,更加本地化.本人非常喜欢LOFTER的UI设计,以及其中的优质用户和内容,似乎网易并不擅长推广,所以受众并不广泛.这都是 ...
- python爬百度新闻_13、web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻,爬取Ajax动态生成的信息...
crapy爬取百度新闻,爬取Ajax动态生成的信息,抓取百度新闻首页的新闻rul地址 有多网站,当你浏览器访问时看到的信息,在html源文件里却找不到,由得信息还是滚动条滚动到对应的位置后才显示信息, ...
- 04-python简单爬虫_爬取网易新闻
# -*- coding: utf-8 -*- import os import sys import requests import re from lxml import etree"& ...
- python爬虫爬取漫画(仅供学习)
项目名: crawl_chuanwu 爬取链接:https://www.manhuadui.com/manhua/chuanwu/ 声明:本项目无任何盈利目的,仅供学习使用,也不会对网站运行造成负担. ...
- python爬取新闻网站内容findall函数爬取_【Python】【爬虫】爬取网易、腾讯、新浪、搜狐新闻到本地...
这个实验主要爬取新闻网站首页的新闻内容保存到本地,爬取内容有标题.时间.来源.评论数和正文. 工具:python 3.6 谷歌浏览器 爬取过程: 一.安装库:urllib.requests.Beaut ...
- python爬取热门新闻每日排行_爬取网易新闻排行榜
#网络爬虫之最基本的爬虫:爬取[网易新闻排行榜](http://news.163.com/rank/) **一些说明:** * 使用urllib2或requests包来爬取页面. * 使用正则表达式分 ...
- 19. python爬虫——基于scrapy框架爬取网易新闻内容
python爬虫--基于scrapy框架爬取网易新闻内容 1.需求 [前期准备] 2.分析及代码实现 (1)获取五大板块详情页url (2)解析每个板块 (3)解析每个模块里的标题中详情页信息 1.需 ...
- scrapy获取a标签的连接_python爬虫——基于scrapy框架爬取网易新闻内容
python爬虫--基于scrapy框架爬取网易新闻内容 1.需求[前期准备] 2.分析及代码实现(1)获取五大板块详情页url(2)解析每个板块(3)解析每个模块里的标题中详情页信息 点击此处,获取 ...
- python爬网易新闻_Python爬虫实战教程:爬取网易新闻
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: Amauri PS:如有需要Python学习资料的小伙伴可以加点击 ...
最新文章
- JS中8个常见的陷阱
- Java并发编程之CAS
- 使用Xmanager远程连接Linux RedHat 6.4图形桌面
- html 复制文本按钮,js实现点击按钮复制文本功能
- Flutter浪潮下的音视频研发探索
- SAP云平台CloudFoundry上部署应用的log分析
- python 3d大数据可视化软件_十大顶级大数据可视化工具推荐
- C#实现10进制转2进制
- live555 linux 编译
- c语言计算三个并联电阻,3个电阻并联怎么计算
- [渝粤教育] 山东工商学院 电机与拖动基础 参考 资料
- KS0108控制的12864液晶屏的反白显示办法
- 半同步/半反应堆模型以及简单实现(一)
- 计算机与3d打印导板,计算机导航系统、3D打印截骨导板与传统器械对全膝关节置换术手术时间和下肢力线恢复的影响...
- Redis是什么?怎么用?
- AutoCAD Civil 3D中的对象和标签
- php hook 键盘,python使用pyhook监控键盘并实现切换歌曲的功能
- springboot如何在接收和返回json时下划线转驼峰以及驼峰转下划线
- 量子力学科普书籍《见微知著》为什么值得读,看看目录就懂了
- Spark之spark VS MR
热门文章
- 浙江大学杭州国际科创中心招聘优秀青年人才(机器学习及大数据)
- 小数据福音!BERT在极小数据下带来显著提升的开源实现
- 从2017年顶会论文看Attention Model - PaperWeekly 第50期
- Java中Map集合类的用法(HashMap)
- mysql锁争用_关于MYSQL条件竞争与锁的问题
- springboot集成spring security安全框架入门篇
- 锁究竟锁住的是什么?
- LeetCode 897 递增顺序搜索树
- MyBatis——@Result注解column参数传递——父查询函数的参数传递到子查询
- C#——实现IComparableT 接口,ArrayLIst调用ArrayLIst.Sort()抛出System.InvalidOperationException异常解决方案