Taobao分布式文件系统TFS简析
Taobao自主研发分布式文件系统TFS(Taobao File System)的消息早有耳闻,最初来自网络上的一篇报道(或称软文)-“深度揭秘淘宝自主研发的文件系统TFS”。因为个人研究兴趣和工作内容相关的缘故,对TFS产生了很大的兴趣,很是期待和关注。TFS前面一直传说大致在2010.09月进行开源发布,国庆前后未能跟进关注,节后蓦然发现TFS已经于2010.09.29在Taobao的开源平台发布了,http://code.taobao.org/project/view/366/。网络上大家都戏称,TFS对时间把握真是太到位了,Taobao言必行,在9月的最后一天兑现了自己的承诺。
正如大家所说,国内自主研发的文件系统真是可谓凤毛麟角,开源的文件系统就更是罕见,我现在所知道是就是FastDFS和TFS。从这个意义上,Taobao的开源精神是很值得称道的。FastDFS的开发者余庆和LVS的开发者章文嵩都在Taobao工作,我想这两位开源高手应该对TFS有着较大的影响,再借助Taobao的实力和平台,TFS的未来非常值得开源界和存储界期待。
TFS官方称“TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,其设计目标是支持海量的非结构化数据”。我个人花了点时间研究一下TFS的源码和相关技术文档,TFS与目前一些主流的开源分布式文件系统设计思想是相似的,如HDFS, MFS, KFS, Sector。TFS的高可扩展、高可用性是很好的,然而也存在一定不足,如通用性、用户接口、性能等方面。我这里粗略罗列一些自己认为TFS的不足之处,不当之处还请大家指正。
1、通用性方面。TFS目前只支持小文件的应用,大文件应用是不支持的。对小图片、网页等几十KB内的数据存储非常适用,但对视频点播VOD、文件下载等应用暂时无法适用。
2、性能方面。Client写文件是同步处理的,需要等所有dataserver写成功后才能返回,这很是影响性能。
3、用户接口。TFS没有提供POSIX接口,提供的API也与标准接口不一致。另外,TFS有自己的文件命名规则,如果用户使用自定义的文件名,则需要自已维护文件名与TFS文件名之间的映射关系。
4、代码方面。使用了C++实现,感觉相对臃肿一点,如果用纯C实现应该会简洁不少(可能我C中毒太深了)。代码注释基本没有,代码质量也不是很好。
5、技术文档。官方有一些文档,但显然非常不够深入和全面。
6、小文件优化。官方称针对海量小文件的随机读写访问性能做了特殊优化,现在只看到把众多小文件存放与一个Block中,这与Squid中的COSS原理相似。其他特殊优化措施未知,LOFS(Lost of small files)是个难点问题。
本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/liuben/archive/2010/10/17/5946583.aspx
Taobao分布式文件系统TFS简析相关推荐
- 淘宝的开源分布式文件系统TFS
TFS(Taobao FileSystem)是淘宝团队开源的海量非结构化数据存储设计的分布式系统.构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问.高可扩展.高可用.高性能.面向 ...
- 各类分布式文件系统的区别和概述 | HDFS、GFS、Ceph、TFS、Moosefs、IPFS等
文章目录 参考 分布式文件系统定义 各类系统对比图 各类文件系统简介 shepdog shepdog基本架构 Ceph FastDFS fastDFS介绍 Tracker server 追踪服务器 S ...
- 分布式文件系统之Tfs是什么?
Tfs 概念: TFS(Team Foundation Server)是一个高可扩展.高可用.高性能.面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可 ...
- 主流分布式文件系统对比:区块链分布式技术引发云存储革命?HDFS,GFS,GPFS,FusionStorage,IPFS
https://blog.csdn.net/weixin_45494421/article/details/98760782 概要:常见的分布式文件系统有GFS.HDFS等,也有新兴的基于区块链IPF ...
- 多种分布式文件系统简介
2019独角兽企业重金招聘Python工程师标准>>> 分布式文件系统 GFS以及 FastDFS.mogileFS.HDFS.TFS等类GFS系统都不是系统级的分布式文件系统,而是 ...
- 分布式文件系统对比与选型参考
一.分布式文件系统 分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连.分布式文件系统的设计基于客户 ...
- 云存储及其分布式文件系统
转自: https://www.cnblogs.com/langren1992/p/5432517.html 随着信息化程度的不断提高,全球数据日益膨胀.面对当前PB级的海量数据存储需求,传统的存储系 ...
- 分布式文件系统:原理、问题与方法
本地文件系统如ext3,reiserfs等(这里不讨论基于内存的文件系统),它们管理本地的磁盘存储资源.提供文件到存储位置的映射,并抽象出一套文件访问接口供用户使用.但随着互联网企业的高速发展,这些企 ...
- SHELL脚本自动化部署MFS分布式文件系统
前言:在我们运维中,最常见的文件存储系统大概就是NFS了,但是随着网站压力不断增加,NFS渐渐不能满足企业数据增长需求,有木有自动扩展.高效.部署.实施方便快捷的分布式存储供我们使用呢?那我们来看一下 ...
最新文章
- c语言实现天气预报步骤,一份天气预报的制作历程
- SAP MM 明明有需求,为啥MRP RUN后没有PR单据产生?
- Javascript - 栈 和 单链表
- SAP C/4HANA到底包含哪些产品?
- testng接口自动化测试_Java+Maven+TestNG接口(API)自动化测试教程(10) 使用 Jenkins 构建自动化测试持续集成...
- 查看mysql用户权限_mysql 如何查看该数据库用户具有哪些权限?
- QuillBot:又一个值得拥有的论文润色工具
- Vue的钩子函数是什么意思?Vue都有哪些钩子函数?
- java中重写hashcode_Java中HashSet要重写equals方法和hashCode方法
- 惠普服务器硬件检测软件吗,惠普硬件检测工具DST HP PC Hardware Diagnostics UEFI 6.8.0.0 Rev.A 使用方法...
- 电脑耳机有声外放无声的解决方法
- Oblog 4.5-4.6 accessmssql getshell 0day
- Variable used in lambda expression should be final or effectively final报错解决方案
- jQuery带有动画的返回顶部
- Win10切换Administrator账户
- EXCEL如何实现两个表的相应数据关联
- 融云红包上线 要让每一款App都能“抢红包”
- 假期抱病上班 货车司机买彩票中2.98亿美元大奖
- python制作相册
- 【springboot maven 本地包依赖】
热门文章
- 云计算:程序员重回个人英雄时代,国内云计算平台即将搭建运行。
- SAP SmartForms PDF Preview Test 打印预览生成PDF文件
- 抖音、拼多多、趣头条告诉我们:一切商业均有机会
- 博文共赏:也谈大公司病2——减少错误不等于增加成功
- 牛是怎么死的?看懂了思想至少成熟30年
- 快递物流查询,分析物流走向信息
- 也谈今日IBM ( IBM china / IGSC / ISSC / ETC )
- matlab中文help,matlab中文帮助文档.pdf
- 拉绳位移编码器的传输信号对测量精度有关系吗?
- Autosar Xcp移植