python爬虫库scrapy_使用Python爬虫Scrapy框架爬取数据
时隔数月,国庆期间想做个假期旅游的分析展示。
1、通过Python爬取旅游网站上数据,并存储到数据库
2、通过Echart/FineReport/Superset等数据分析工具对数据展示
环境:
Win10
Python:3.7
Scrapy:1.5.1
使用Pycharm开发
Scrapy文档教程中有Scrapy的安装指导,不过在Windows下安装当初确实遇到许多坑
使用方法大致是进入项目的workspace使用命令行创建一个Scrapy项目,这个项目中有Scrapy的配置、模块等
如:
cd E:Pythonworkspace
E:\PythonWorkspace>scrapy startproject project_name
然后会创建project_name的目录
project_name/
scrapy.cfg
project_name/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...
这些文件分别是:
scrapy.cfg: 项目的配置文件
project_name/: 该项目的python模块。之后您将在此加入代码。
project_name/items.py: 项目中的item文件.
project_name/pipelines.py: 项目中的pipelines文件.
project_name/settings.py: 项目的设置文件.
project_name/spiders/: 放置spider代码的目录.
拷自文档。。
首先写一个Scrapy项目练手,可按照教程,但URL是被墙了的。
以下代码是获取去哪儿网首页Title
Spider爬虫文件:该爬虫name为test
import scrapy
class test(scrapy.spiders.Spider):
name = "test"
# allowed_domains = ["qunar"]
start_urls = ["https://www.qunar.com/"]
def parse(self,response):
title = str(response.xpath('/html/head/title')[0])
print(title)
不出意外的报错。。
坑1:
run该文件无效,什么都没执行。Scrapy项目不执行,但返回值为运行结束
Process finished with exit code 0
Scrapy项目需通过命令行执行,例如在该项目根目录执行 scrapy crawl spider_name
或者在Pycharm中看到init文件,在其中加上
from scrapy import cmdline
cmdline.execute("scrapy crawl spider_name".split());
然后报错:
def write(self, data, async=False):
^
SyntaxError: invalid syntax
按照网上说法,将该文件中所有async改为其他关键词如shark,报错消失,出现
import win32api
ModuleNotFoundError: No module named 'win32api'
Windows系统上安装win32api模块即可,命令行执行,这里通过豆瓣源安装
C:\Users\yinyunqi>pip install -i https://pypi.douban.com/simple pypiwin32
Looking in indexes: https://pypi.douban.com/simple
Collecting pypiwin32
Downloading https://pypi.doubanio.com/packages/d0/1b/2f292bbd742e369a100c91faa0483172cd91a1a422a6692055ac920946c5/pypiwin32-223-py3-none-any.whl
Collecting pywin32>=223 (from pypiwin32)
Downloading https://pypi.doubanio.com/packages/a3/8a/eada1e7990202cd27e58eca2a278c344fef190759bbdc8f8f0eb6abeca9c/pywin32-224-cp37-cp37m-win_amd64.whl (9.0MB)
100% |████████████████████████████████| 9.1MB 260kB/s
Installing collected packages: pywin32, pypiwin32
Successfully installed pypiwin32-223 pywin32-224
重新运行打印如下
E:\Python\Python37\python.exe E:/PythonWorkspace/NationalAna/NationalAna/__init__.py
2018-09-29 14:07:49 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: NationalAna)
2018-09-29 14:07:49 [scrapy.utils.log] INFO: Versions: lxml 4.2.4.0, libxml2 2.9.5, cssselect 1.0.3, parsel 1.5.0, w3lib 1.19.0, Twisted 18.7.0, Python 3.7.0b2 (v3.7.0b2:b0ef5c979b, Feb 28 2018, 02:24:20) [MSC v.1912 64 bit (AMD64)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0h 27 Mar 2018), cryptography 2.3, Platform Windows-10-10.0.17134-SP0
2018-09-29 14:07:49 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'NationalAna', 'NEWSPIDER_MODULE': 'NationalAna.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['NationalAna.spiders']}
2018-09-29 14:07:49 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
'scrapy.extensions.telnet.TelnetConsole',
'scrapy.extensions.logstats.LogStats']
2018-09-29 14:07:50 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
'scrapy.downloadermiddlewares.retry.RetryMiddleware',
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
'scrapy.downloadermiddlewares.stats.DownloaderStats']
2018-09-29 14:07:50 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
'scrapy.spidermiddlewares.referer.RefererMiddleware',
'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
'scrapy.spidermiddlewares.depth.DepthMiddleware']
2018-09-29 14:07:50 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2018-09-29 14:07:50 [scrapy.core.engine] INFO: Spider opened
2018-09-29 14:07:50 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2018-09-29 14:07:50 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2018-09-29 14:07:50 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None)
2018-09-29 14:07:50 [scrapy.core.engine] DEBUG: Crawled (200) (referer: None)
2018-09-29 14:07:50 [scrapy.core.engine] INFO: Closing spider (finished)
2018-09-29 14:07:50 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 498,
'downloader/request_count': 2,
'downloader/request_method_count/GET': 2,
'downloader/response_bytes': 23167,
'downloader/response_count': 2,
'downloader/response_status_count/200': 2,
'finish_reason': 'finished',
'finish_time': datetime.datetime(2018, 9, 29, 6, 7, 50, 801314),
'log_count/DEBUG': 3,
'log_count/INFO': 7,
'response_received_count': 2,
'scheduler/dequeued': 1,
'scheduler/dequeued/memory': 1,
'scheduler/enqueued': 1,
'scheduler/enqueued/memory': 1,
'start_time': datetime.datetime(2018, 9, 29, 6, 7, 50, 318350)}
2018-09-29 14:07:50 [scrapy.core.engine] INFO: Spider closed (finished)
Process finished with exit code 0
嗯 这样说明Scrapy已经可以使用,下面就可以愉快的推进了任务了
python爬虫库scrapy_使用Python爬虫Scrapy框架爬取数据相关推荐
- python爬虫十二:初步使用Scrapy框架爬取数据
1.通过pipelines操作拿到的数据 要点一:爬虫文件必须通过关键字yield生成器才能与pipelines建立链接才可以操作,当运行爬虫文件之后执行的顺序如下图简介,如果重写模块或者内部方法可能 ...
- Scrapy框架爬取数据
因为对爬虫有着很大的好奇心,所以又找了一些资料继续开始了学习之旅. 文章目录 一.Scrapy框架简介 二.爬取网络数据 2.1爬取单个网页数据 2.2爬取多个网页数据 三.一些小方法 四.小结 一. ...
- Python网络爬虫数据采集实战:Scrapy框架爬取QQ音乐存入MongoDB
通过前七章的学习,相信大家对整个爬虫有了一个比较全貌的了解 ,其中分别涉及四个案例:静态网页爬取.动态Ajax网页爬取.Selenium浏览器模拟爬取和Fillder今日头条app爬取,基本 ...
- Python网络爬虫数据采集实战(八):Scrapy框架爬取QQ音乐存入MongoDB
通过前七章的学习,相信大家对整个爬虫有了一个比较全貌的了解 ,其中分别涉及四个案例:静态网页爬取.动态Ajax网页爬取.Selenium浏览器模拟爬取和Fillder今日头条app爬取,基本涵盖了爬虫 ...
- Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
这篇文章主要介绍了Python爬虫 scrapy框架爬取某招聘网存入mongodb解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 创建项目 sc ...
- python爬虫教程:Scrapy框架爬取Boss直聘网Python职位信息的源码
今天小编就为大家分享一篇关于Scrapy框架爬取Boss直聘网Python职位信息的源码,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧 分析 使用Crawl ...
- 19. python爬虫——基于scrapy框架爬取网易新闻内容
python爬虫--基于scrapy框架爬取网易新闻内容 1.需求 [前期准备] 2.分析及代码实现 (1)获取五大板块详情页url (2)解析每个板块 (3)解析每个模块里的标题中详情页信息 1.需 ...
- python爬虫——用Scrapy框架爬取阳光电影的所有电影
python爬虫--用Scrapy框架爬取阳光电影的所有电影 1.附上效果图 2.阳光电影网址http://www.ygdy8.net/index.html 3.先写好开始的网址 name = 'yg ...
- 14. python爬虫——基于scrapy框架爬取糗事百科上的段子内容
python爬虫--基于scrapy框架爬取糗事百科上的段子内容 1.需求 2.分析及实现 3.实现效果 4.进行持久化存储 (1)基于终端指令 (2)基于管道 [前置知识]python爬虫--scr ...
最新文章
- 科技股疯狂造富的背后,“泡沫”离我们到底有多远?
- 华为交换机SSH登录失败原因
- session_onend,你到底什么时候才能激发?
- response设置响应头
- Effective_STL 学习笔记(七) 当使用 new 得指针容器时,记得在销毁容器前 delete 那些指针...
- 限速访问文件服务器,利用nginx实现文档服务器限速
- [java]内部类的总结
- Spring中com.sun.proxy.$Proxy12 cannot be cast to 包名.类名错误
- 单元测试/集成测试/系统测试的区别
- 苹果手机升级后开不了机怎么办_iPhone8突然黑屏开不了机怎么办?西安苹果售后维修点教你这样解决...
- 基于Eviews的稳定性检验——以个股的β系数为例(含ADF检验步骤及结果分析)
- Python IDLE的下载,安装和使用
- asp.net 打印html文件,关于ASP.NET页面打印技术的常用方法总结
- IntelliJ IDEA 文件只读
- 魅族日流量显示无服务器,魅族国际流量如何使用?没有手机卡照样能上网
- gcc -shared -o libJava.so Java.o ./libdemo.a
- bert如何应用于下游任务_培训特定于法律域的BERT
- ‘数据分析实战’——营销组合分析(甲厨电公司案例)
- 怎么将pdf转换成excel
- 我的世界服务器物品怎么上锁,我的世界教你如何将箱子上锁方法解答
热门文章
- 白鹭引擎学习笔记(二)
- 基于python的更换照片底色工具开发
- 【论文翻译】High-Performance Long-Term Tracking with Meta-Updater
- 笔记本喇叭无声音解决方案
- 电池SOC仿真系列-基于遗忘因子的最小二乘法电池参数辨识(二阶RC)
- NDIS(NDIS开发详解)
- 固态硬盘为什么比机械硬盘快
- 【真相】网易暴力裁员事件 企业暴力开除重病员工事件绝非孤例
- matlab 根式化简,薛定宇教授大讲堂(卷Ⅳ):MATLAB最优化计算最新章节_薛定宇著_掌阅小说网...
- RFC系列协议--rfc2461--Neighbor Discovery for IP Version 6 (IPv6)