mfs java_mfs权威指南
1. 我在性能测试中间遇到些问题,因为我时间有限,所以希望大家一起来测试解决,群策群力。有什么问题请大家及时指出来,因为我也处在一个不断摸索的阶段。
2. mfs不多做介绍,具体细节请参考本版mfs实践文章http://bbs.chinaunix.net/thread-1643863-1-1.html,或者baidu,google 关键字 田逸。
3. 希望大家能提供更好的存储/文件系统的测试模型,来一起完善本文档。(热烈欢迎大家奉献测试脚本,测试用例等)。
4. 希望大家提供生产环境的实际案例,配置环境,脚本,监控机制等等。
5. 希望熟悉代码的朋友去看看mfs内部实现的机制。
6. 特别感谢田逸的文档http://sery.blog.51cto.com/10037/263515。
7. 特别感谢qq群战友:tt,灵犀,流云风,hzqbbc在qq群内对广大爱好者分享宝贵经验。
8. 特别感谢存储专家-《大话存储》的作者:冬瓜头 ,在我进行性能测试的时候,对我进行的指导。
9. 特别感谢qq群战友:高性能架构,CU ID:leo_ss_pku,制作更专业更精美的pdf版本:
MooseFS权威指南.pdf
(3.32 MB, 下载次数: 3514), 大家也可以他的blog上浏览在线版本:http://www.himysql.com/doc/mfs.html
mfs优势:-1. Free(GPL)
0. 通用文件系统,不需要修改上层应用就可以使用(那些需要专门api的dfs好麻烦哦!)。
1. 可以在线扩容,体系架构可伸缩性极强。(官方的case可以扩到70台了!)
2. 部署简单。(sa们特别高兴,领导们特别happy!)
3. 体系架构高可用,所有组件无单点故障。(您还等什么?)
4. 文件对象高可用,可设置任意的文件冗余程度(提供比raid1+0更高的冗余级别),而绝对不会影响读或者写的性能,只会加速哦!)
5. 提供Windows回收站的功能.(不怕误操作了,提供类似oralce 的闪回等高级dbms的即时回滚特性,oralce这些特性可是收费的哦!)
6. 提供类似Java语言的GC(垃圾回收).
7. 提供netapp,emc,ibm等商业存储的snapshot特性。
8. google filesystem的一个c实现。(google在前面开路哦!)
9. 提供web gui监控接口。
10. 提高随机读或写的效率(有待进一步证明)。
11. 提高海量小文件的读写效率(有待进一步证明)。
可能的瓶颈:0. master本身的性能瓶颈。(不太恰当的比方:类似mysql 主从复制,从的可以扩展,主的不容易扩展)。 (qq群战友 :hzqbbc)
短期对策:按业务切分
1. 体系架构存储文件总数的可遇见的上限。
(mfs把文件系统的结构缓存到master的内存中,个人认为文件越多,master的内存消耗越大,8g对应2500kw的文件数,2亿文件就得64GB内存 )。(qq群战友 :hzqbbc)
短期对策:按业务切分
2. 单点故障解决方案的健壮性。(qq群战友 : tt, hzqbbc)
架构图
——————————————————
index
1. mfs master2. mfs chunkserver
3. mfs client4. 系统管理
5. 性能测试
6. 参考文献6.1 测试数据
测试模型1
测试模型2
7. 感谢
8. 附录
9. 实际操作案例
10. 生产环境案例
11. web gui 监控
12. 官方关于1.6.x版本的介绍 (中文翻译:QQ群战友 Cuatre )
13. mfs官方英文FAQ(TC版)(提供者:QQ群战友 灵犀)
14. mfs master 热备方案
15. mfs nagios监控程序(提供者:QQ群战友 流云风)
————————————————
环境:
master 1台
chunkserver 3台
client 1台
os:
centos5.3 x64
1 mfs master
1.1 安装mfs master
wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz
tar zxvf mfs-1.6.11.tar.gz
cd mfs-1.6.11
useradd mfs -s /sbin/nologin
./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
make
make install
cd /usr/local/mfs/etc/
cp mfsmaster.cfg.dist mfsmaster.cfg
cp mfsexports.cfg.dist mfsexports.cfg
vim mfsmaster.cfg
vim mfsexports.cfg
cd ..
cd var/
mfs/
cp metadata.mfs.empty metadata.mfs
cat metadata.mfs
/usr/local/mfs/sbin/mfsmaster start
ps axu | grep mfsmaster
lsof -i
tail -f /var/log/messages
1.2 启动master服务
/usr/local/mfs/sbin/mfsmaster start
working directory: /usr/local/mfs/var/mfs
lockfile created and locked
initializing mfsmaster modules ...
loading sessions ... ok
sessions file has been loaded
exports file has been loaded
loading metadata ...
create new empty filesystemmetadata file has been loaded
no charts data file - initializing empty charts
master metaloggers module: listen on *:9419
master chunkservers module: listen on *:9420
main master server module: listen on *:9421
mfsmaster daemon initialized properly
1.3. 停止master服务
/usr/local/mfs/sbin/mfsmaster -s
1.4 启动和停止web gui
启动: /usr/local/mfs/sbin/mfscgiserv
停止: kill /usr/local/mfs/sbin/mfscgiserv
1.5 相关配置文件
vim mfsexports.cfg
192.168.28.0/24 . rw
192.168.28.0/24 / rw
2. mfs chunkserver
2.1 从块设备创建本地文件系统
fdisk -l
mkfs.ext3 /dev/sdb
mkdir /data
chown mfs:mfs /data
mount -t ext3 /dev/sdb /data
df -ah
/dev/sdb 133G 188M 126G 1% /data2.2 创建50G的loop device文件
df -ah
dd if=/dev/zero of=/opt/mfs.img bs=1M count=50000
losetup /dev/loop0 mfs.img
mkfs.ext3 /dev/loop0
mkdir /data
chown mfs:mfs /data
mount -o loop /dev/loop0 /data
df -ah
2.3 安装chunkserver
wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz
tar zxvf mfs-1.6.11.tar.gz
cd mfs-1.6.11
useradd mfs -s /sbin/nologin
./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
make
make install
cd /usr/local/mfs/etc/
cp mfschunkserver.cfg.dist mfschunkserver.cfg
cp mfshdd.cfg.dist mfshdd.cfg
2.4 启动chunkvserver
/usr/local/mfs/sbin/mfschunkserver start
ps axu |grep mfs
tail -f /var/log/messages
2.5 停止chunksever
/usr/local/mfs/sbin/mfschunkserver stop
3. mfs client
3.1 安装fuse
yum install kernel.x86_64 kernel-devel.x86_64 kernel-headers.x86_64
###reboot server####
yum install fuse.x86_64 fuse-devel.x86_64 fuse-libs.x86_64
modprobe fuse
3.2 安装mfsclient
wget http://ncu.dl.sourceforge.net/project/moosefs/moosefs/1.6.11/mfs-1.6.11.tar.gz
tar zxvf mfs-1.6.11.tar.gz
cd mfs-1.6.11
useradd mfs -s /sbin/nologin
./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --enable-mfsmount
make
make install
3.3 挂载文件系统
cd /mnt/
mkdir mfs
/usr/local/mfs/bin/mfsmount /mnt/mfs/ -H 192.168.28.242
mkdir mfsmeta
/usr/local/mfs/bin/mfsmount -m /mnt/mfsmeta/ -H 192.168.28.242
df -ah
4.系统管理
4.1 管理命令
设置副本 的份数,推荐3份
/usr/local/mfs/bin/mfssetgoal -r 3 /mnt/mfs
查看某文件
/usr/local/mfs/bin/mfsgetgoal /mnt/mfs
查看目录信息
/usr/local/mfs/bin/mfsdirinfo -H /mnt/mfs
5. 性能测试
5.1 mfs
1. 大文件(block=1M byte)
dd if=/dev/zero of=1.img bs=1M count=5000
5242880000 bytes (5.2 GB) copied, 48.8481 seconds, 107 MB/s
2. 小文件( 50 byte * 100w个 * 1 client) ( 1000 * 1000 )写入
real 83m41.343s
user 4m17.993s
sys 16m58.939s
列表
time find ./ -type f | nl | tail
999999 ./0/1
1000000 ./0/0
real 0m39.418s
user 0m0.721s
sys 0m0.225s
删除
time rm -fr *
real 6m35.273s
user 0m0.394s
sys 0m23.546s
3. 小文件( 1K byte * 100w个 * 100 client) { 1000 * 1000 )
写入(100client)
time ../../p_touch_file.sh
real 22m51.159s
user 4m42.850s
sys 18m41.437s
列表(1client)
time find ./ | nl | tail
real 0m35.910s
user 0m0.628s
sys 0m0.204s
删除(1client)
time rm -fr *
real 6m36.530s
user 0m0.697s
sys 0m21.682s
4. 小文件(1k byte* 100w个 * 200 client) { 1000 * 1000 )
time ../../p_touch_file.sh
real 27m56.656s
user 5m12.195s
sys 20m52.079s
5. 小文件(1k byte* 100w个 * 1000 client) { 1000 * 1000 )
写入
time ../../p_touch_file.sh
real 30m30.336s
user 5m6.607s
sys 21m
5.2 本地磁盘
1. 大文件(block=1M byte)
dd if=/dev/zero of=1.img bs=1M count=5000
5242880000 bytes (5.2 GB) copied, 58.7371 seconds, 89.3 MB/s
2. 小文件(50 byte * 100w个 * 1 client) { 1000 * 1000 )
写入
time ../touch_file.sh
real 17m47.746s
user 4m54.068s
sys 12m54.425s
列表
time find ./ -type f | nl | tail
1000000 ./875/582
1000001 ./875/875
real 0m9.120s
user 0m1.102s
sys 0m0.726s
删除time rm -fr *
real 0m37.201s
user 0m0.432s
sys 0m15.268s
5.3 基准测试(第一次)5.3.1 随机读
5.3.2 随机写
5.3.3 顺序读
5.3.4 顺序写
5.4 基准测试(第2次)
5.4.1 随机读
mfs java_mfs权威指南相关推荐
- HTML5与CSS3权威指南之CSS3学习记录
title: HTML5与CSS3权威指南之CSS3学习记录 toc: true date: 2018-10-14 00:06:09 学习资料--<HTML5与CSS3权威指南>(第3版) ...
- Android开发权威指南(第2版)新书发布
<Android 开发权威指南(第二版)>是畅销书<Android开发权威指南>的升级版,内容更新超过80%,是一本全面介绍Android应用开发的专著,拥有45 章精彩内容供 ...
- 《ELK Stack权威指南(第2版)》一3.8 Docker日志
本节书摘来自华章出版社<ELK Stack权威指南(第2版)>一书中的第3章,第3.8节,作者 饶琛琳 更多章节内容可以访问云栖社区"华章计算机"公众号查看. 3.8 ...
- 《Ansible权威指南 》一 第一篇 Part 1 基础入门篇
本节书摘来自华章出版社<Ansible权威指南 >一书中的第1章,第1.1节,李松涛 魏 巍 甘 捷 著更多章节内容可以访问云栖社区"华章计算机"公众号查看. 第一篇 ...
- 《CUDA C编程权威指南》——1.5节总结
本节书摘来自华章社区<CUDA C编程权威指南>一书中的第1章,第1.5节总结,作者[美] 马克斯·格罗斯曼(Max Grossman) ,更多章节内容可以访问云栖社区"华章社区 ...
- [原创]Java性能优化权威指南读书思维导图
[原创]Java性能优化权威指南读书思维导图 书名:Java性能优化权威指南 原书名:Java performance 作者: (美)Charlie Hunt Binu John 译者: 柳飞 ...
- 《JavaScript权威指南》笔记(一)
2019独角兽企业重金招聘Python工程师标准>>> <JavaScript权威指南>真是名符其实的好书!真遗憾初学JavaScript时没有立即读这本书,甚为遗憾.不 ...
- 爬虫书籍-Python网络爬虫权威指南OCR库 NLTK 数据清洗 BeautifulSoup Lambda表达式 Scrapy 马尔可夫模型
Python网络爬虫权威指南 编辑推荐 适读人群 :需要抓取Web 数据的相关软件开发人员和研究人员 作为一种采集和理解网络上海量信息的方式,网页抓取技术变得越来越重要.而编写简单的自动化程序(网络爬 ...
- elasticsearch: 权威指南_你还不会Elasticsearch的CUD?
近端时间在搬砖过程中对es进行了操作,但是对es查询文档不熟悉,所以这两周都在研究es,简略看了<Elasticsearch权威指南>,摸摸鱼又是一天. es是一款基于Lucene的实时分 ...
- 图灵七月书讯【Cassandra权威指南将在7月末上市】
重点图书推荐 Cassandra权威指南--本书是一本广受好评的Cassandra 图书.与传统的关系型数据库不同,Cassandra 是一种开源的分布式存储系统.书中介绍了它无中心架构.高可用.无缝 ...
最新文章
- 网传BAT等大厂2020校招传统大厂白菜价!
- Mybatis原理分析一 从JDBC到Mybaits
- 36)PHP,搜寻数据库信息在html中显示(晋级1)
- myeclipse自动生成hibernate映射文件的过程
- Vue组件通信原理剖析(一)事件总线的基石 $on和$emit
- 嵌入式linux面试题解析(四)——逻辑推理一
- 插入排序最优_排序专题插入排序
- element-ui表单校验
- 2015年关注的技术书籍
- 物联网中C语言与汇编语言,ARM Cortex-M架构CPU中C语言和汇编语言的混合编程
- 真壕!腾讯员工平均月薪 7 万!
- MTK旧平台与RDA8851开机详解
- 从0开始学习 GitHub 系列之「Git 速成」
- app自动化之移动端测试基础知识
- faster rcnn源码阅读笔记2
- bootstrap实现树节点、树结构
- 浅谈对JAVA堆栈的理解
- i12蓝牙耳机使用(小米手机)
- 遇到服务器网络偶尔断线如何检查
- 3.24虎牙直播一面
热门文章
- Markdown缩进控制
- 华为刷原生android,教你如何体验(刷)原生安卓8.0
- android原生组件,RN原生的安卓UI组件
- JustinMind原型制作工具
- 乡村的野蛮生长|独秀日记
- 讲给后台程序员看的前端系列教程(24)——浮动
- 南京邮电大学网络攻防训练平台-逆向-Py交易
- 微信小程序上传图片(预览 删除 限制图片大小、张数)
- Paper reading (三十一):Personalized Nutrition by Prediction of Glycemic Responses(overview)
- 麒麟系统开发笔记(七):在线安装软件后,提取其安装包,部署目标机使用离线软件包方式安装软件