MooseFS使用问题分析总结
随着数据量越来越大,MFS的使用中也出现过一些问题,这里做了一些分析和总结,下面和大家分享一下:
先提一下MFS出问题时出现比较频繁的两个信息:
- 连接中断
- 坏块问题
连接中断问题在Master端会出现如下错误:
mfsmaster[15861]: connection with client(ip:10.11.18.175) has been closed by peer 表示客户端和master的连接中断 mfsmaster[15861]: connection with ML(10.11.19.76) has been closed by peer 表示Metalogger和Master的连接中断 mfsmaster[15861]: connection with CS(10.11.18.199) has been closed by peer 表示ChunkServer和Master的连接中断
原因分析可能如下:
- 网络闪断 - 正常现象,MFS本身可自动重连,不会造成问题
- Clinet或ChunkServer主动断开连接,如Kill进程,也会引起这种错误
- ChunkServer或Client到Master的连接超时,也会断开连接,引起超时可能有两个原因:
- Client请求过多,引起Master请求队列已满,导致的连接超时
- 网络响应慢引起的超时(和网络闪断区分)
解决办法:
- 对于1、3出现引起的中断可不加理会,重点需关注2引起的问题:
- 针对2-a:Client控制请求,如超高并发的读写删除,另需注意的操作是ls,大家知道Linux系统本身对一个目录下文件个数的显示是有限制的(如10W,那么涉及到的需遍历指令就会报错,list too long),同样,我们MFS中遍历目录下文件时也要注意,要遍历的文件数过多会导致超时引起连接被中断等问题。
- 针对2-b: 合理分配带宽资源,优化网络环境解决。
备注:
Client或Chunk到Master的连接中断之后,会由Client或Chunk自动发出重连(Reconnection)和注册(Register)操作。
坏块问题在Master端会出现如下错误:
mfsmaster[3250]: chunkserver has nonexistent chunk (000000000002139F_00000001), so create it for future deletion mfsmaster[3250]: (10.11.18.199:9422) chunk: 000000000002139F creation status: 20 mfsmaster[3250]: chunk 000000000002139F has only invalid copies (1) – please repair it manually mfsmaster[3250]: chunk 000000000002139F_00000001 – invalid copy on (10.11.18.199 – ver:00000000) mfsmaster[3250]: currently unavailable chunk 000000000002139F (inode: 135845 ; index: 23)
上述日志的意思是:有一个块在Master中有元数据信息,但ChunkServer中没有这个块,系统会自动在ChunkServer上创建此块为了后续删除,因为没有内容,所以是非法的copy,我们也无法访问到此块
出现的原因可能有很多,如:
- Client端大文件传输过程中,强制拔下master主机电源,造成master非法关闭,使用mfsmetarestore -a修复后,master日志报告有坏块
- ChunkServer的csstats.mfs存放位置空间不足,导致文件块无法写入,也会引起块错误
- 手动删除ChunkServer上的块文件
- 删除文件后,Master非正常结束后重启,但没有结果changelog.mfs进行恢复,也会引起坏块
原因应该还有很多,后续有遇到再补充。
解决办法:
Client端使用mfsfilerepair对文件进行修复。
我理解坏块分为两种:
- 一种是没有任何一个trunk节点有数据(修复工作其实就是生成chunk,在需要补充内容的地方填充0,这种块事后要删除)
- 另一种是存在有数据块的节点(从存在的数据块copy,这里的块不需要删除)
修复之后可能出现如下日志信息:
mfsmaster[3250]: chunk hasn’t been deleted since previous loop – retry mfsmaster[3250]: (10.11.18.199:9422) chunk: 000000000002139F deletion status: 13
Client端执行一个mv或rm 操作,master将不会再显示此信息,如:
mv 80499644316259743_s.jpg 80499644316259743_s_1.jpg
转载于:https://www.cnblogs.com/oubo/archive/2012/05/09/2492475.html
MooseFS使用问题分析总结相关推荐
- ceph 代码分析 读_五大常见存储系统PK | Ceph、GlusterFS、MooseFS、HDFS、DRBD
引言 在当前这个云计算蓬勃发展的时代,对于存储系统的思考热度也在逐渐升高.在众多的工具和存储系统中,如何进行选择,就变成了一个非常困惑人的问题.本篇将介绍常见的存储系统,希望可以解答大家在这方面的困惑 ...
- MooseFS灾备演练实录
昨天晚上去机房为数据库服务器做磁盘扩容,顺带为目前线上的存储系统MooseFS做了一次灾难演练.故此,今天准备把昨天的灾难演练的详情总结一下,分享给大家.如果大家正在使用MooseFS,那么就可以有所 ...
- MooseFS 分布式文件介绍+部署 MFS
官网:http://www.moosefs.org 1.MooseFS是什么 一个类MooseFS是一个具备冗余容错功能的分布式网络文件系统,它将数据分别存放在多个物理服务器或单独磁盘或分区上,确保一 ...
- GlusterFS缺点分析
原文:http://blog.sina.com.cn/s/blog_6b89db7a0101gbcy.html GlusterFS(GNU ClusterFile System)是一个开源的分布式文件 ...
- 【Golang源码分析】Go Web常用程序包gorilla/mux的使用与源码简析
目录[阅读时间:约10分钟] 一.概述 二.对比: gorilla/mux与net/http DefaultServeMux 三.简单使用 四.源码简析 1.NewRouter函数 2.HandleF ...
- 2022-2028年中国自动驾驶系统行业现状调研分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国自动驾驶系统行业市场行业相关概述.中国自 ...
- 2022-2028年中国阻尼涂料市场研究及前瞻分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国阻尼涂料行业市场行业相关概述.中国阻尼涂 ...
- 2021-2028年中国阻燃装饰行业市场需求与投资规划分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国阻燃装饰行业市场行业相关概述.中国阻燃装 ...
- 2022-2028年全球与中国漂白吸水棉市场研究及前瞻分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了全球与中国漂白吸水棉行业市场行业相关概述.全 ...
最新文章
- node-GetPOST
- 用特征迭代次数区分minst数据集的0和1
- 成本直降50%,下一代网关震撼发布
- 07- app的弱网测试
- node : 无法将“node”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。
- bool函数_PHP变量类型测试函数的使用:一、is_bool的用法
- 熟悉JDK8新特性,“Lambda表达式与函数式接口”
- element 怎么把数据写到日历表上_当mongo数据量过亿时该如何删除重复的数据
- lvds输入悬空_LVDS的接口电路设计
- Android 系统签名实现的三种方式
- VirtualXposed 免ROOT使用Xposed模块
- 第三章 高频谐振功率放大器(关键点:功率、效率)
- 万网域名转向指定URL地址
- 机器学习--红酒质量检测分析(包含数据集,直接可用)
- 重庆师范大学c语言考研真题及答案,2020年重庆师范大学系统理论考研真题试卷及试题答案,数学分析考研试题下载...
- 家有千金之冰糖绿豆汤
- python电玩城源码_2019最新最全价值2W的微信H5电玩城游戏全套源码+架设教程+配置文档...
- php偷单,最简单的PHP小偷源码
- android学习总结(一)
- 如何批量在图片上加统一的文字?