发现最流行的工具以免费实现对象存储系统

> Photo by Joshua Coleman on Unsplash.

如福布斯所指出的，今天组织中的超过80％的数据是非结构化的。传统上，公司已经忽略了这种类型的数据，因为他们面临的挑战分析并产生有意义的见解。然而，由于正在发明其他类型的存储系统，例如基于块，文件和基于对象的存储系统，景观正在迅速变化。

在这三个中，对象存储似乎最有希望，这是通过亚马逊，谷歌和IBM等事实证明了基于对象的数据存储库的企业解决方案。

虽然此类商业选项肯定提供许多功能，但值得探索免费添加，这可以促进公司内的成功对象存储实现。在本文中，我们将讨论前四个开源对象存储工具以及它们如何相互比较。

LakeFS

> Photo from lakeFS

在增强底层存储系统的几个开源工具中，LakeFS允许您先向对象存储存储库进行版本控制。

其目标是提供类似于类似的数据版本控制工具，同时也与现有云存储兼容。使用LakeFS，您可以像代码一样版本控制数据的Terabytes。此外，它还允许您在数据存储库上构建可重复的原子操作，使得可以执行大规模的ETL作业，数据分析和机器学习。

LakeFS允许您创建一个开发环境，您可以在可以以可重复的方式执行实验并记录它们。像Git一样，您可以创建提交和分支，使您可以沿着应用程序开发的时间表移动，并尝试孤立的新功能。令人惊讶的是，Lakefs在不重复任何数据的情况下执行所有这些 - 一切都使用特殊的元数据管理完成。

LakeFS还实现严格的数据集成和部署最佳实践。它提供格式，架构和文件元数据验证，以防止低质量数据进入数据湖并将其转换为数据沼泽。

2.JuiceFS

> Photo from JuiceFS

用3.3k github stars，接下来是果汁。其主要目的是将任何对象存储器转换为与POSIX，HDFS和NFS兼容的完整文件系统。

对象存储的定义特征是它缺少任何组织层次结构。所有数据存储在单个中央存储库中，数据只能由其GUI（全局唯一标识符）访问。虽然此功能提供高速和存储灵活性，但它可以在与现有文件系统的应用程序交互时产生问题。

Juicefs通过提供完全posix兼容的工具来解决这一点，该工具允许您与其他应用程序无缝地工作，没有任何业务侵入。此外，它可以内置在几乎任何云存储提供商的顶部，以将数据存储为对象。它还通过在熟悉的数据库引擎中保存元数据提供更好的管理，例如Redis，MySQL，PostgreSQL，SQLite等。

JuiceFS旨在提出其出色的性能，提供低网络延迟，可以以毫秒为单位测量。该工具还提供Hadoop Java SDK，因此可以很容易地集成到Hadoop生态系统中，并为使用Kubernetes的企业提供Kubernetes CSI驱动程序。

3. SeaweedFS

> Photo from SeaweedFS

SeaweedFS是一种直接替代的JuiceFS，在功能方面，但它更受欢迎。开源项目的可信度和非常未来依赖于其社区以及它是多么活跃，海行为在两个方面都进行了检查。截至6月2021日，GitHub存储库有超过12k星级和119名活跃贡献者。

SeaweedFS使速度和可扩展性成为最优先事项。根据他们的网站，他们的目标是：

存储数十亿个文件！
快速服务于这些文件！

与其他对象存储系统不同，SeaWeedFS不会将所有数据保存在单个存储库中。相反，它使用单个中央主站来控制卷服务器的集群，这些卷服务器管理文件和元数据。此功能允许该工具更快，因为它缓解了所有并发问题的中央单主服务。

SeaweedFS引入并处理其无状态服务器的目录，称为Filer。它是线性可扩展的，并支持数十个可自定义的元数据存储，如MySQL，PostgreSQL，Redis，Cassandra，HBase，MongoDB，Elastic Search，LeveldB，RockSDB，SQLite，MEMSQL，TIDB，ETDD，CockroachdB等。

4. Minio.

> Photo from MinIO

另一个强大的JiuceFS和SeaweedFS的替代品是Minio。即使它相当年轻，Minio也成为混合云对象存储的领导者。它在私有和公共云中无缝运行，提供最广泛的使用情况 - AI / ML，分析，备份/恢复和移动和Web应用程序。

该项目在GitHub上拥有28,00多名明星，近300个有效贡献者，使其成为领先的开源对象存储系统工具。对于更严格的安全和持续支持，也有两个付费计划。

Minio还提供了最高质量的软件设计。它是kubernetes-native和s3兼容的兼容。它在AWS，Azure和GCP中有超过77M的运行实例，这比私有云的其余部分组合在一起。

在性能方面，它可以分别使用183 GB / s和171 Gb / s的读写速度运行，并且可以无缝地集成到Hadoop生态系统中。

概括

今天，我们讨论了与对象存储系统一起使用的四个最受欢迎的开源工具。虽然Juicefs，Seaweedf和Minio提供基于云提供商顶部的对象存储解决方案，但Lakefs提供了类似Git的数据版本控制系统，可以与此处提到的任何其他工具一起使用。

选择一个以上取决于您的公司和业务需求。例如，如果您想要完全开源工具，Seaweedfs是一个很好的选择。另一方面，如果要实现由大型社区支持的工具，并且可以为您的特定需求提供企业解决方案，Minio是完美的候选人。此外，将这些工具与LakeFS结合起来可能是一个很好的想法，以便您可以使用您的非结构化数据进行大数据和机器学习操作的完美设置。

(本文由闻数起舞翻译自Anna的文章《4 Must-Have Open Source Solutions for Object Storage》，转载请注明出处，原文链接：
https://betterprogramming.pub/top-4-open-source-tools-for-object-storage-e43267bcd724)

4个开源对象存储的解决方案相关推荐

【存储】2022 年的 4 个开源对象存储平台
介绍在处理大量非结构化数据时,我们需要一个地方来存储它.我们选择存储数据的方式有很多种,但今天我们要关注的一种是对象存储或基于对象的存储.这是处理大量数据时的最佳选择,特别是因为它并不昂贵,并且可以 ...
Spring Boot——集成七牛云OSS对象存储SDK解决方案
基本概念七牛云OSS对象存储(Kodo):七牛云海量存储系统(Kodo)是自主研发的非结构化数据存储管理平台,支持中心和边缘存储. 平台经过多年大规模用户验证已跻身先进技术行列,并广泛应用于海量数据 ...
【分布式技术专题】「OSS中间件系列」从0到1的介绍一下开源对象存储MinIO技术架构
MinIO背景介绍 MinIO创始者是Anand Babu Periasamy, Harshavardhana(戒日王)等人, Anand是GlusterFS的初始开发者.Gluster公司的创始人与 ...
希捷发布CORTX对象存储软件与开源社区，普惠超大规模数据存储
数据存储和管理解决方案提供商希捷科技今日(10月29日)举行了"Let's Rethink Data"希捷科技Datasphere线上峰会.在本次峰会,希捷科技携手行业专家与生态合 ...
对象存储与块存储、文件存储等对比
看到一篇文档, 讲对象存储, 好奇,搜索文章,摘抄,学习记录 ! 背景: 传统存储在面对海量非结构化数据时,在存储.分享与容灾上面临很大的挑战,主要表现在以下几个方面:传统存储并非为非结构化内容设 ...
一文讲清：对象存储、文件存储、块存储。绝对好文
从应用角度看块存储.文件存储.对象存储产品和市场需求有各种相互影响的关系,但不管是哪一种,最终呈现都是产品和应用需求需要对应匹配.应用需求越多样化,市场也就划分得更加细,产品种类也就更加丰富.在存储 ...
块存储、文件存储、对象存储三者有什么区别，有什么关系？
一.块存储.文件存储.对象存储,三者的本质差别是什么? 1.块存储典型设备:磁盘阵列,硬盘块存储主要是将裸磁盘空间整个映射给主机使用的,就是说例如磁盘阵列里面有5块硬盘(为方便说明,假设每个硬盘1 ...
众星捧月，希捷CORTX对象存储打开“数据新视界”
点击上方关注我们! 数据,重要的生产要素! 希捷赞助.IDC发布的<数据新视界:从边缘到云,激活更多业务数据>报告显示:未来两年,企业数据将会以42.2%的速度增长.数据治理.数据运营等等 ...
百度云磁盘CDS、对象存储BOS技术深度解析
在BAT中,百度在公有云也有很多技术创新.比如2013年引起广泛关注的ARM存储服务器就是一个很好的例子.最近两年,百度云开始发力,其云存储体系有诸多创新之处.目前百度云存储形成了以块存储.对象存储. ...
文件系统vs对象存储——选型和趋势
摘要:对象存储和我们经常接触到的硬盘和文件系统等存储形态不同,它提供Key-Value(简称K/V)方式的RESTful数据读写接口,并且常以网络服务的形式提供数据的访问.但经过多年的发展,我们现在通 ...

4个开源对象存储的解决方案