一、爬取新浪新闻思路

1、创建scrapy项目

2、分析新浪新闻网站静态页面代码

3、编写对应的xpath公式

4、写代码

二、项目代码

步骤1、创建scrapy项目

scrapy startproject mycwpjt

步骤2、分析新浪网站静态代码

随便打开一个新浪新闻网，新闻

可以看到地址为

http://news.sina.com.cn/gov/xlxw/2018-03-21/doc-ifyskeue0491622.shtml

点开其他新闻也为.shtml结尾

那么我们可以考虑从新浪首页，针对性爬取后缀为.shtml的网页

步骤3、编写对应的xpath公式

在html的页面head中可以看到标题在title中

新时代 去奋斗|新时代|奋斗|改革_新浪新闻

当前页面的链接在meta中

由此可以写出xpath为

标题：/html/head/title/text()

链接: //meta[@property='og:url']/@content

步骤4、编写代码

创建爬虫文件

scrapy genspider -t crawl bangbing sina.com.cn

1、bangbing .py

# -*- coding: utf-8 -*-

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule

from mycwpjt.items import MycwpjtItem

class BangbingSpider(CrawlSpider):

name = 'bangbing'

allowed_domains = ['sina.com.cn']

start_urls = ['http://www.sina.com.cn/']

# 只提取链接中有'*.shtml'字符串的链接

rules = (

Rule(LinkExtractor(allow='.*?/n.*?shtml'), callback='parse_item', follow=True),

)

def parse_item(self, response):

i = MycwpjtItem()

i["name"] = response.xpath("/html/head/title/text()").extract()

i["link"] = response.xpath("//meta[@property='og:url']/@content").extract()

return i

在上面代码中rules部分中的LinkExtractor为链接提取器，链接提取器主要负责将response响应中符合条件的链接提取出来，这些条件我们可以自行设置。

rules = (

Rule(LinkExtractor(allow='.*?/n.*?shtml'), callback='parse_item', follow=True),

)

参数名

参数含义

allow

提取符合对应正则表达式的链接

deny

不提取符合对应正则表达式的链接

restrict_xpaths

使用XPath表达式与allow共同作用提取出同时符合对应XPath表达式和对应正则表达式的链接

allow_domains

允许提取的域名，比如我们想肢体去某个域名下的链接时会用到

deny_domains

禁止提取的域名，比如我们需要限制一定不提取某个域名下的链接时会用的

2、items.py

# -*- coding: utf-8 -*-

import scrapy

class MycwpjtItem(scrapy.Item):

name = scrapy.Field()

link = scrapy.Field()

3、pipelines.py

# -*- coding: utf-8 -*-

import codecs

class MycwpjtPipeline(object):

def __init__(self):

self.file = codecs.open("C:/Users/Administrator/Desktop/sinanew.txt", "wb", encoding="utf-8")

def process_item(self, item, spider):

# 拼接字符组成 标题:**** 链接:****

line = "标题:%s 链接:%s\n" % (item["name"][0], item["link"])

self.file.write(line)

def close_spider(self):

self.file.close()

4、settings.py

# Configure item pipelines

# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html

# 取消注释

ITEM_PIPELINES = {

'mycwpjt.pipelines.MycwpjtPipeline': 300,

}

4、运行命令

scrapy crawl bangbing --nolog

因为网页实在太多了，只运行了一部分就强制停止了，可以看桌面sinanew.txt文件，结果如下