淘宝TFS文件系统配置
四台服务器,系统都为Centos 5.6
一、基础环境的设置(只需在dataserver两台服务器上配置)
1.加载ext4模块,让系统支持ext4文件系统
modprobe ext4
2.安装ext4格式工具
yum –y install e4fsprogs e4fsprogs-devel
3.建立数据目录
mkdir /home/disk1
mkdir /home/disk2
mkdir /home/disk3
4.格式硬盘
mkfs.ext4 /dev/sdb
mkfs.ext4 /dev/sdc
mkfs.ext4 /dev/sdd
5.挂载硬盘
mount /dev/sdb /home/disk1
mount /dev/sdc /home/disk2
mount /dev/sdd /home/disk3
6.查看挂载分区
二、文档配置(安装略…可参考官网http://code.taobao.org/p/tfs/wiki/index/)
1.TFS的Nameserver(192.168.2.240)主配置[ns.conf配置文件]
[public]
log_size=1073741824
log_num = 64
log_level=debug
task_max_queue_size = 10240
port = 8108
work_dir = /usr/local/tfs
dev_name = eth0
thread_count = 50
ip_addr = 192.168.2.240
[nameserver]
safe_mode_time = 300
ip_addr_list = 192.168.2.240|192.168.2.241
group_mask = 255.255.255.255
block_max_size = 83886080
max_replication = 2
min_replication = 2
use_capacity_ratio = 98
block_max_use_ratio = 98
heart_interval = 2
object_dead_max_time = 3600
cluster_id = 1
replicate_ratio_ = 50
max_write_filecount = 16
heart_thread_count = 2
heart_max_queue_size = 10
repl_max_time = 60
cmpact_delete_ratio = 15
compact_max_load = 200
object_dead_max_time = 86400
object_clear_max_time = 300
max_wait_write_lease = 15
lease_expired_time = 3
max_lease_timeout = 3000
cleanup_lease_threshold = 102400
build_plan_interval = 10
run_plan_expire_interval = 120
build_plan_ratio = 25
dump_stat_info_interval = 60000000
build_plan_default_wait_time = 2
balance_max_diff_block_num = 5
add_primary_block_count = 3
block_chunk_num = 32
task_percent_sec_size = 200
task_max_queue_size = 10000
oplog_sync_max_slots_num = 1024
oplog_sync_thread_num = 1
2.TFS的Nameserver(192.168.2.241)从配置[ns.conf配置文件]
[public]
log_size=1073741824
log_num = 64
log_level=debug
task_max_queue_size = 10240
port = 8108
work_dir = /usr/local/tfs
dev_name = eth0
thread_count = 50
ip_addr = 192.168.2.241
[nameserver]
safe_mode_time = 300
ip_addr_list = 192.168.2.240|192.168.2.241
group_mask = 255.255.255.255
block_max_size = 83886080
max_replication = 2
min_replication = 2
use_capacity_ratio = 98
block_max_use_ratio = 98
heart_interval = 2
object_dead_max_time = 3600
cluster_id = 2
replicate_ratio_ = 50
max_write_filecount = 16
heart_thread_count = 2
heart_max_queue_size = 10
repl_max_time = 60
compact_delete_ratio = 15
compact_max_load = 200
object_dead_max_time = 86400
object_clear_max_time = 300
max_wait_write_lease = 15
lease_expired_time = 3
max_lease_timeout = 3000
cleanup_lease_threshold = 102400
build_plan_interval = 10
run_plan_expire_interval = 120
build_plan_ratio = 25
dump_stat_info_interval = 60000000
build_plan_default_wait_time = 2
balance_max_diff_block_num = 5
add_primary_block_count = 3
block_chunk_num = 32
task_percent_sec_size = 200
task_max_queue_size = 10000
oplog_sync_max_slots_num = 1024
oplog_sync_thread_num = 1
3.TFS的Dataserver(192.168.2.242)配置[ds.conf配置文件][public]
log_size=1073741824
log_num = 64
log_level=debug
task_max_queue_size = 10240
port = 9998
work_dir = /usr/local/tfs
dev_name= eth0
thread_count = 50
ip_addr = 192.168.2.242
[dataserver]
ip_addr = 192.168.2.11
ip_addr_list = 192.168.2.240|192.168.2.241
port = 8108
heart_interval = 2
check_interval = 2
replicate_threadcount = 2
block_max_size = 7549747
dump_visit_stat_interval = 60
backup_type = 1
backup_path = /home/tfs
mount_name = /home/disk
mount_maxsize = 14194304
base_filesystem_type = 1
superblock_reserve = 0
avg_file_size = 40960
mainblock_size = 7549747
extblock_size = 419430
block_ratio = 0.5
hash_slot_ratio = 0.5
ds_thread_count = 4
4.TFS的ads(192.168.2.242)配置[ads.conf配置文件]
[public]
log_size=1073741824
log_num = 64
log_level=debug
task_max_queue_size = 10240
port = 12000
work_dir = /usr/local/tfs
dev_name = eth0
thread_count = 50
ip_addr = 192.168.2.242
[adminserver]
check_interval = 5
check_count = 5
warn_dead_count = 3
ds_fkill_waittime = 15
ds_script = /usr/local/tfs/bin/dataserver -f /usr/local/tfs/conf/ds.conf -d
ds_index_list = 1,2,3
[nameserver]
ip_addr = 192.168.2.11
port = 8108
[dataserver]
port = 9998
lock_file = /usr/local/tfs/bin/dataserver
mount_name = /home/disk
5.TFS的Dataserver(192.168.2.243)配置...略和2.243相似,不能写,写不下了。
三、服务启动
1.启动tfs(192.168.2.240)的nameserver
/usr/local/tfs/scripts/tfs start_ns
2.启动tfs(192.168.2.241)的nameserver
/usr/local/tfs/scripts/tfs start_ns
3.启动tfs(192.168.2.242)的dataserver
/usr/local/tfs/scripts/tfs admin_ns
4.启动tfs(192.168.2.243)的dataserver
/usr/local/tfs/scripts/tfs admin_ns
用tfstool工具连接到服务端上传图片
看到上传的图片已经保存成功
详解介绍可参考官方网站http://code.taobao.org/p/tfs/wiki/index/
转载于:https://blog.51cto.com/1008305/768258
淘宝TFS文件系统配置相关推荐
- TFS淘宝分布式文件核心存储引擎源码架构剖析实现
这里写目录标题 相关背景介绍 相关设计思路介绍 项目基础 文件系统接口 扇区 文件结构 关于inode 为什么淘宝不用小文件存储 淘宝网为什么不用普通文件存储海量小数据? 设计思路 关键数据结构哈希表 ...
- python-- 模拟淘宝自动回复--文件读写的问题//记录用户的登录日志(记录登录时间)
记录用户的登录日志(记录登录时间)--磁盘的操作--文件读写的操作 import time #使用函数 --使用时间 #显示日志 def show_info():print('输入提示数字,执行相应的 ...
- 哈希表企业应用-淘宝分布式文件系统核心存储引擎
哈希表企业应用-淘宝分布式文件系统核心存储引擎-基本概述 淘宝网 谁都知道 是一个电子商务网站,可能是第一批电商模式 b2c 当然从一个技术人员讲只有一点 淘宝店铺商品存储到哪里 感觉有点像废话 :肯 ...
- facebook海量图片存储系统与淘宝TFS系统比较
2019独角兽企业重金招聘Python工程师标准>>> 经典论文翻译导读之<Finding a needle in Haystack: Facebook's photo sto ...
- 《淘宝技术这十年》读书笔记 (三). 创造技术TFS和Tair
前面两篇文章介绍了淘宝的发展历程和Java时代的变迁: <淘宝技术这十年>读书笔记 (一).淘宝网技术简介及来源 <淘宝技术这十年&g ...
- 揭秘淘宝286亿海量图片存储与处理架构,互联网营销
[IT168 专稿]8月27日下午,在IT168系统架构师大会存储与系统架构分论坛上,淘宝网技术委员会主席,淘宝网核心工程师章文嵩向我们详细介绍了淘宝网图片处理与存储系统的架构.章文嵩博士的演讲日程包 ...
- 《淘宝技术这十年》 读书笔记
本书的作者是阿里的子柳,本书从工程师的角度讲述淘宝这个超大规模互联网系统的成长历程,及其所有主动和被动的技术变革的前因后果.书中有幕后故事.产品经验.架构演进.技术启蒙,也有大牛成长.业内八卦.失败案 ...
- 从个人网站到淘宝网 仰观Java时代淘宝的技术发展
从2003年的一个个人对个人(C2C)的商品交易网站到如今的淘宝网,其实在作为个人网站发展的时间里并不长.那么在这段时间里,淘宝究竟是如何发展的呢?在这篇文章里我们将找到淘宝网的发展历史以及所用到的技 ...
- 淘宝技术发展 - 子柳撰写
http://kb.cnblogs.com/page/132724/ 目录 一.引言 二.个人网站 三.Oracle/支付宝/旺旺 四.淘宝技术发展(Java时代:脱胎换骨) 五.淘宝技术发展(Jav ...
最新文章
- 从一道面试题谈谈一线大厂码农应该具备的基本能力
- 通过Blender将PMX模型转为FBX导入Unity
- Android Zip文件解压缩代码
- sapi cli php mac,make: *** [sapi/cli/php] Error 1 解决办法
- centos 安装mysql5.6.20_Linux学习15-CentOS安装mysql5.6环境
- python3 中文文件名_Python3上传中文文件名的问题
- 美图手机告别文,写得真好!
- scrapy报错:ModuleNotFoundError
- java出租车计费系统_基于JavaEE的出租车计费系统的设计实验报告
- rtmp协议发送mp3和aac裸流的方法
- python 异常 exception_关于Python中异常(Exception)的汇总
- R语言创建空数据框(Empty Data Frame )用于追加数据
- MacOS Big Sur 如何安装创新SBX-Fi Surround 5.1Pro(USB外置)声卡?
- 怎么调大计算机浏览器内字体,电脑浏览器怎么设置字体大小
- android是硬件还是软件,浅谈Android软硬件巧妙整合的开发技巧
- 详解jsPlumb这个javascript的可拖动连线库
- Ubuntu下bazel卸载与安装
- 可供量、现有量、承诺量
- Linux防火墙常用命令
- 双11前夕,阿里启用机房巡检机器人、京东加了2000+台服务器!这下你们可以放心剁手了...