python 爬取道客巴巴文档_Python常用的几个高效率的爬虫框架
1.Scrapy
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。
Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。
Scrap,是碎片的意思,这个Python的爬虫框架叫Scrapy。
项目地址:https://scrapy.org/
2.PySpider
pyspider 是一个用python实现的功能强大的网络爬虫系统,能在浏览器界面上进行脚本的编写,功能的调度和爬取结果的实时查看,后端使用常用的数据库进行爬取结果的存储,还能定时设置任务与任务优先级等。
主要特性如下:
1、强大的WebUI,包含:脚本编辑器、任务监控器,项目管理器和结果查看器;
2、多数据库支持,包括:MySQL, MongoDB, Redis, SQLite, Elasticsearch; PostgreSQL with SQLAlchemy等;
3、使用RabbitMQ, Beanstalk, Redis 和Kombu作为消息队列;
4、支持任务优先级设定、定时任务、失败后重试等;
5、支持分布式爬虫
项目地址:https://github.com/binux/pyspider
3.Crawley
Crawley可以高速爬取对应网站的内容,支持关系和非关系数据库,数据可以导出为JSON、XML等。
crawley也是使用python开发出来的一款爬虫框架,该框架致力于改变人们从互联网中提取数据的方式,让大家可以更高效地从互联网中爬取对应内容。
crawley框架的主要特点有:
1>高速爬取对应网站内容
2> 可以将爬取到内容轻松地存储到数据库中,比如:postgres,mysql,oracle,sqlite等数据库
3>可以将爬取到的数据导出为json,xml等格式
4>支持非关系型数据库,比如:mongodb,couchdb等
5>支持使用命令行工具
6>可以使用你喜欢的工具提取数据,比如使用xpath或者pyquery等工具
7>支持使用cookie登陆并访问哪些只有登陆才能够访问的网页
项目地址:http://project.crawley-cloud.com/
4.Portia
Portia是一个开源可视化爬虫工具,可让您在不需要任何编程知识的情况下爬取网站!简单地注释您感兴趣的页面,Portia将创建一个蜘蛛来从类似的页面提取数据。
portia框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架,给出你要爬取的网页中感兴趣的数据内容,通过portia框架,可以将你所需要的信息从相似的网页中自动提取出来。
项目地址:https://github.com/scrapinghub/portia
5.Newspaper
Newspaper可以用来提取新闻、文章和内容分析。使用多线程,支持10多种语言等。
newspaper框架是一种用来提取新闻、文章以及内容分析的python爬虫框架。更准确地说,newspaper是一个python的库,只不过这个库是由第三方开发的,可以归为一种框架。
newspaper框架在的主要特点:
1>比较简单
2>速度比较快
3>支持多线程
4>支持十多种语言
由此我们可以知道newspaper框架是轻量级框架,并且就爬取文章信息这一功能来说,使用起来很方便
项目地址:https://github.com/codelucas/newspaper
6.Beautiful Soup
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。
项目地址:https://www.crummy.com/software/BeautifulSoup/bs4/doc/
7.Grab
Grab是一个用于构建Web刮板的Python框架。借助Grab,您可以构建各种复杂的网页抓取工具,从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。Grab提供一个API用于执行网络请求和处理接收到的内容,例如与HTML文档的DOM树进行交互。
项目地址:http://docs.grablib.org/en/latest/#grab-spider-user-manual
8.Cola
Cola是一个分布式的爬虫框架,对于用户来说,只需编写几个特定的函数,而无需关注分布式运行的细节。任务会自动分配到多台机器上,整个过程对用户是透明的。
项目地址:https://github.com/chineking/cola
9、mechanize
优点:可以加载JS。缺点:文档严重缺失。不过通过官方的example以及人肉尝试的方法,还是勉强能用的。
10、selenium
这是一个调用浏览器的driver,通过这个库你可以直接调用浏览器完成某些操作,比如输入验证码
python 爬取道客巴巴文档_Python常用的几个高效率的爬虫框架相关推荐
- python 下载道客巴巴文档
python 下载道客巴巴文档 环境准备 首先,我们会使用到selenium这个库,直接用pip安装即可,有关于selenium的使用还需要安装浏览器驱动和配置环境变量,在这里就不过多阐述,很多博客中 ...
- python 爬虫框架_Python常用的几个高效率的爬虫框架
1.Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中.用这个框架可以轻松爬下来如亚马逊商品信息之类的数 ...
- 手机python编程文件如何转文档_Python 开发者面向文档编程的正确姿势
Python 在实际生产中,机器学习工作现在看起来,白天像是个算法工程师的活,晚上就变成运维+测试了.Python 一直以来也都受到测试工程师和运维工程师的偏爱,下面是几个经典的注释活用case. 用 ...
- python打开已有docx文档_python读取docx文件,就是如此简单
中文编码问题总是让人头疼(尤其是mac本),想要用 Python读取word中的内容.用open()经常报错,通过百度搜索+问身边小伙伴发现了 Python有专门读取.docx的模块python_do ...
- 如何免费下载道客巴巴文档
1.下载安装 稻壳阅读器 http://www.daokeyuedu.com/ 2.找到需要下载的文档,选择用 稻壳阅读器 打开对应文档. 3.点击左上角的"打印",弹出打印对话框 ...
- 道客巴巴 文档下载方法
稻壳阅读器打印下载 稻壳阅读器是一个面向文库的阅读软件,在电脑上安装之后,直接打开,将文库链接复制进去就能快速阅读. 想要保存文档的话,如果是免费文档,直接点击下载按钮,然后就可以直接将文档下载到本地 ...
- python爬取知网论文关键词_Python爬虫根据关键词爬取知网论文摘要并保存到数据库中【入门必学】...
搜索出来的结果和知网上的结果几乎一样,另外以后面试找Python工作,项目经验展示是核心,如果你缺项目练习,去小编的Python交流.裙 :一久武其而而流一思(数字的谐音)转换下可以找到了,里面很多新 ...
- 道客巴巴文档下载方案
1 使用webbrowser控件,打开指定文件. 2 屏幕截取每一页的内容,生成图象. 3 使用iTextSharp,将生成的图象转换为PDF文件. 最 ...
- python依据模板生成word文档_python自动化生成word文件,word格式套用创造模板
# coding=gbk from docx import Document # 导入docx模块 from docx.enum.text import WD_PARAGRAPH_ALIGNMENT ...
最新文章
- OpenCV 笔记(09)— 常用的数据结构和函数(Vec、Point、Scalar、Size、Rect、cvtColor)
- 20155303 2016-2017-2 《Java程序设计》第二周学习总结
- Python-OpenCV 处理图像(八):图像二值化处理
- git commit --amend 改写提交
- 你必须知道的容器监控 (1) Docker自带子命令与Weave Scope
- Java EE 6与Spring Framework:技术决策过程
- 13亿美元的思想实验
- iOS - UIEvent事件及UIResponder响应者
- java 进程 互斥锁_Linux 进程互斥锁 - Khan's Notebook GCC/GNU/Linux Delphi/Window Java/Anywhere - C++博客...
- win7桌面快捷方式图标修复方法
- 解决idea导入项目中文乱码intellij
- 监控容器并实现邮箱报警(cAdvisor 、AlertManager)
- python信息技术答案_高中信息技术《Python语言》模块试卷习题.doc
- 使用谷歌API将任意语言翻译成英文
- freeswitch APR库
- 牛客练习赛53 老瞎眼 pk 小鲜肉[思维+离线+线段树]
- 倍思途享伸缩车载充电器体验:乐享车载快充,让爱车少些凌乱
- 【目录和文件的管理】
- 精心推荐8款实用国产软件,非常强大
- 中软国际云专业服务获双冠王,IDC排名火热出炉
热门文章
- java的销毁方法_销毁Spring Bean的三种方法
- 谷歌的android下拉刷新页面,Android SwipeRefreshLayout:谷歌官方SDK包中的下拉刷新
- 怎么UI数组惊醒初始化 c语言,C语言教案7-数组.ppt
- void func(int n)C语言,C语言高手帮忙分析一下复杂的函数声明
- 需要氪金吗_《天堂2:血盟》到底需不需要氪金?玩家:可以但是没有必要
- spingboot使用redis连接池报错
- python逆转字符串封装_Python 实现文本操作之逆转字符串
- matlab 1 f噪声,跪求1/f噪声生成代码解释!!
- java 按行读取大文件文件内容_Java实现按行读取大文件
- 求单链表的最大值与原地逆转_江西师范大学硕士学位研究生入学考试数据结构试题(2003年)一.doc...