九种引人瞩目的开源大数据技术

1.Apache Hadoop

Apache hadoop是一个开源的分布式计算框架，最初由Doug为支持其开源Web搜索引擎Nutch所创立。通过集成MapReduce技术，Hadoop将大数据分布到多个数据节点上进行处理。Hadoop遵循Apache 2.0许可证，可以轻松处理结构化、半结构化和非结构化数据，一举成为现在非常流行的大数据解决方案，

2.R语言

R语言是一种开源编程语言，专门为数据统计和数据可视化而设计。R语言最初由Ross Ihaka和Robert Gentleman在奥克兰大学设计出来，之后迅速成为大数据领域的重要工具。R语言遵循GPL许可证。

3.Cascading

Cascading是一个针对Java开发人员的应用框架，可以快速、轻松地基于Apache Hadoop开发数据分析和数据管理应用。Cascading是Hadoop的抽象层，可以屏蔽MapReduce的复杂性，支持任何基于JVM的编程语言在Hadoop集群上执行数据处理任务。Cascading最初由Chris Wensel开发，用于作为MapReduce的替代API。Cascading遵循GNU许可证，一般用于广告定位、日志分析、Web数据挖掘和ETL应用。

4.Scribe

Scribe于2008年发布，是一个由Facebook开发的日志聚合服务器软件，用于实时从大量服务器汇集日志数据。Scribe遵循Apache 2许可证，扩展性极佳，每天可应对数百亿日志记录的挑战。

5.ElasticSearch

ElasticSearch是一款由Shay Banon开发，遵循Apache许可证的开源搜索服务器。ElasticSearch基于分布式计算，对于实时搜索可以提供很好的可扩展性解决方案。许多公司已经对ElasticSearch表示认可，比如StumbleUpon和Mozilla。

6.Apache HBase

Apache HBase是一个使用Java语言编写的、以谷歌BigTable技术为基础的开源非关系型列式分布数据库，可运行在HDFS文件系统之上。HBase提供了很好的存储容错能力和快速访问大量稀疏文件的能力。HBase遵循Apache 2许可证。

7.Apache Cassandra

Cassandra是由Facebook开发的另一个开源NoSQL数据库，遵循Apache 2许可证。由于对HBase的喜爱，Facebook开始逐渐放弃使用Cassandra，但许多公司，如Netflix依然使用Cassandra数据库为其后端流媒体服务提供动力。

8.MongoDB

MongoDB是一个基于分布式文件存储的数据库，由C++语言编写。旨在为Web应用提供可扩展的高性能数据存储解决方案。MongoDB是非常流行的JSON文档式NoSQL数据库，许多公司都非常认同MongoDB。MTV Networks、craigslist和迪斯尼互动传媒集团，纽约时报以及Etsy都是MongoDB的客户。MongoDB遵循GNU Affero通用许可证，语言驱动遵循Apache许可证，10gen公司提供商业化的MongoDB许可证。

9.Apache CouchDB

CouchDB也是一个流行的开源NoSQL数据库，它以文档方式(JSON)存储数据。CouchDB使用JavaScript语言作为查询语言，集成MapReduce技术。IBM Lotus Notes的开发人员Damien Katz在2005年构建了CouchDB，用于大规模对象的数据存储系统。CouchDB遵循Apache 2许可证，英国广播公司(BBC)使用CouchDB存储动态内容，瑞士瑞信银行(Credit Suisse)的商品部也采用了它。

推荐阅读文章

大数据工程师在阿里面试流程是什么？

学习大数据需要具备怎么样基础？

年薪30K的大数据开发工程师的工作经验总结？

九种引人瞩目的开源大数据技术相关推荐

时下最热开源大数据技术TOP10
文章讲的是时下最热开源大数据技术TOP10,眼下大数据成为最热技术,并且呈现爆炸式增长.全世界的新项目雨后春笋般的出现.对于这些新的公司.项目来说,利好就是所有可用的技术是开放源代码的,直接采用. 海 ...
盘点最受欢迎的十个开源大数据技术
http://my.csdn.net/my/mycsdn 大数据已然成为当今最热门的技术之一,正呈爆炸式增长.每天来自全球的新项目如雨后春笋般涌现.幸运地是,开源让越来越多的项目可以直接采用大数据技术 ...
开源大数据技术社区召集令
引子 Hadoop生态技术已经俨然成为大数据事实标准,为了给广大同学.朋友提供一些交流学习的环境,沉淀大数据技术相关的资料,特别发起此次关注活动. 社群技术交流钉钉大群阿里云 HBase+Spar ...
《Spark大数据分析：核心概念、技术及实践》大数据技术一览
本节书摘来自华章出版社<Spark大数据分析:核心概念.技术及实践>一书中的第1章,第1节,作者穆罕默德·古勒(Mohammed Guller)更多章节内容可以访问云栖社区"华章 ...
【大数据】企业级大数据技术体系概述
目录产生背景常见应用场景企业级大数据技术框架数据收集层数据存储层资源管理与服务协调层计算引擎层数据分析层数据可视层企业级大数据技术实现方案 Google 大数据技术栈 Hadoop ...
大数据技术助推数字化智慧城市管理平台的搭建
近来几年,你必定听惯了这样子的形容,说大数据技术,云计算技术,人工智能,5G等数字基础设施,是信息内容文明的"水电煤",我们终究离不了这些. 但你是不是会好奇,在我国,哪座城市将这 ...
2022开源大数据热力报告总结
文章目录如何定量分析"后Hadoop时代"开源项目和技术趋势热力值研究模型开源大数据热力的"摩尔定律" 热力趋势一:用户需求多样化推动技术多元化热力趋势 ...
非主流大数据技术工具，主要有哪几个？
大数据的生态系统如今已经非常庞大,涌现大量主流数据处理框架如Hadoop.Spark.Flink.Google的Tensorflow以及其他不计其数的Apache开源项目(最受欢迎的十个开源大数据技术 ...
程序员2016年2月：技术解析开源大数据构造
2015,开源大数据领域热闹非凡,在各大王牌开源框架不遗余力丰富各种特性和提高稳定性与性能的同时,不少后起之秀更是绞尽脑汁,奋起直追. HDFS & YARN,Hadoop老当益壮:谈到开源大 ...

九种引人瞩目的开源大数据技术

九种引人瞩目的开源大数据技术相关推荐

最新文章

热门文章