对于拥有大量图片和小文件的站点,如电子商务网站,用tfs是非常理想的,淘宝就是NB.

四台服务器,系统都为Centos 5.6

一、基础环境的设置(只需在dataserver两台服务器上配置)

1.加载ext4模块,让系统支持ext4文件系统

modprobe ext4

2.安装ext4格式工具

yum –y install  e4fsprogs e4fsprogs-devel

3.建立数据目录

mkdir /home/disk1

mkdir /home/disk2

mkdir /home/disk3

4.格式硬盘

mkfs.ext4 /dev/sdb

mkfs.ext4 /dev/sdc

mkfs.ext4 /dev/sdd

5.挂载硬盘

mount /dev/sdb /home/disk1

mount /dev/sdc /home/disk2

mount /dev/sdd /home/disk3

6.查看挂载分区

二、文档配置(安装略…可参考官网http://code.taobao.org/p/tfs/wiki/index/)

1.TFS的Nameserver(192.168.2.240)主配置[ns.conf配置文件]

[public]

log_size=1073741824

log_num = 64

log_level=debug

task_max_queue_size = 10240

port = 8108

work_dir = /usr/local/tfs

dev_name = eth0

thread_count = 50

ip_addr = 192.168.2.240

[nameserver]

safe_mode_time = 300

ip_addr_list = 192.168.2.240|192.168.2.241

group_mask = 255.255.255.255

block_max_size = 83886080

max_replication = 2

min_replication = 2

use_capacity_ratio = 98

block_max_use_ratio = 98

heart_interval = 2

object_dead_max_time = 3600

cluster_id = 1

replicate_ratio_ = 50

max_write_filecount = 16

heart_thread_count = 2

heart_max_queue_size = 10

repl_max_time = 60

cmpact_delete_ratio =  15

compact_max_load = 200

object_dead_max_time = 86400

object_clear_max_time = 300

max_wait_write_lease = 15

lease_expired_time = 3

max_lease_timeout = 3000

cleanup_lease_threshold = 102400

build_plan_interval = 10

run_plan_expire_interval = 120

build_plan_ratio = 25

dump_stat_info_interval = 60000000

build_plan_default_wait_time = 2

balance_max_diff_block_num = 5

add_primary_block_count = 3

block_chunk_num = 32

task_percent_sec_size = 200

task_max_queue_size = 10000

oplog_sync_max_slots_num = 1024

oplog_sync_thread_num = 1

2.TFS的Nameserver(192.168.2.241)从配置[ns.conf配置文件]

[public]

log_size=1073741824

log_num = 64

log_level=debug

task_max_queue_size = 10240

port = 8108

work_dir = /usr/local/tfs

dev_name = eth0

thread_count = 50

ip_addr = 192.168.2.241

[nameserver]

safe_mode_time = 300

ip_addr_list = 192.168.2.240|192.168.2.241

group_mask = 255.255.255.255

block_max_size = 83886080

max_replication = 2

min_replication = 2

use_capacity_ratio = 98

block_max_use_ratio = 98

heart_interval = 2

object_dead_max_time = 3600

cluster_id = 2

replicate_ratio_ = 50

max_write_filecount = 16

heart_thread_count = 2

heart_max_queue_size = 10

repl_max_time = 60

compact_delete_ratio =  15

compact_max_load = 200

object_dead_max_time = 86400

object_clear_max_time = 300

max_wait_write_lease = 15

lease_expired_time = 3

max_lease_timeout = 3000

cleanup_lease_threshold = 102400

build_plan_interval = 10

run_plan_expire_interval = 120

build_plan_ratio = 25

dump_stat_info_interval = 60000000

build_plan_default_wait_time = 2

balance_max_diff_block_num = 5

add_primary_block_count = 3

block_chunk_num = 32

task_percent_sec_size = 200

task_max_queue_size = 10000

oplog_sync_max_slots_num = 1024

oplog_sync_thread_num = 1

3.TFS的Dataserver(192.168.2.242)配置[ds.conf配置文件][public]

log_size=1073741824

log_num = 64

log_level=debug

task_max_queue_size = 10240

port = 9998

work_dir = /usr/local/tfs

dev_name= eth0

thread_count = 50

ip_addr = 192.168.2.242

[dataserver]

ip_addr = 192.168.2.11

ip_addr_list = 192.168.2.240|192.168.2.241

port = 8108

heart_interval = 2

check_interval = 2

replicate_threadcount = 2

block_max_size = 7549747

dump_visit_stat_interval = 60

backup_type = 1

backup_path = /home/tfs

mount_name = /home/disk

mount_maxsize = 14194304

base_filesystem_type = 1

superblock_reserve = 0

avg_file_size = 40960

mainblock_size = 7549747

extblock_size = 419430

block_ratio = 0.5

hash_slot_ratio = 0.5

ds_thread_count = 4

4.TFS的ads(192.168.2.242)配置[ads.conf配置文件]

[public]

log_size=1073741824

log_num = 64

log_level=debug

task_max_queue_size = 10240

port = 12000

work_dir = /usr/local/tfs

dev_name = eth0

thread_count = 50

ip_addr = 192.168.2.242

[adminserver]

check_interval = 5

check_count = 5

warn_dead_count = 3

ds_fkill_waittime = 15

ds_script = /usr/local/tfs/bin/dataserver -f /usr/local/tfs/conf/ds.conf -d

ds_index_list = 1,2,3

[nameserver]

ip_addr = 192.168.2.11

port = 8108

[dataserver]

port = 9998

lock_file = /usr/local/tfs/bin/dataserver

mount_name = /home/disk

5.TFS的Dataserver(192.168.2.243)配置...略和2.243相似,不能写,写不下了。

三、服务启动

1.启动tfs(192.168.2.240)的nameserver

/usr/local/tfs/scripts/tfs  start_ns

2.启动tfs(192.168.2.241)的nameserver

/usr/local/tfs/scripts/tfs  start_ns

3.启动tfs(192.168.2.242)的dataserver

/usr/local/tfs/scripts/tfs admin_ns

3.1查看到服务端的连接

3.2查看dataserver下的块

4.启动tfs(192.168.2.243)的dataserver

/usr/local/tfs/scripts/tfs admin_ns

四、测试

用tfstool工具连接到服务端上传图片

看到上传的图片已经保存成功

详解介绍可参考官方网站http://code.taobao.org/p/tfs/wiki/index/

转载于:https://blog.51cto.com/1008305/768258

淘宝TFS文件系统配置相关推荐

  1. TFS淘宝分布式文件核心存储引擎源码架构剖析实现

    这里写目录标题 相关背景介绍 相关设计思路介绍 项目基础 文件系统接口 扇区 文件结构 关于inode 为什么淘宝不用小文件存储 淘宝网为什么不用普通文件存储海量小数据? 设计思路 关键数据结构哈希表 ...

  2. python-- 模拟淘宝自动回复--文件读写的问题//记录用户的登录日志(记录登录时间)

    记录用户的登录日志(记录登录时间)--磁盘的操作--文件读写的操作 import time #使用函数 --使用时间 #显示日志 def show_info():print('输入提示数字,执行相应的 ...

  3. 哈希表企业应用-淘宝分布式文件系统核心存储引擎

    哈希表企业应用-淘宝分布式文件系统核心存储引擎-基本概述 淘宝网 谁都知道 是一个电子商务网站,可能是第一批电商模式 b2c 当然从一个技术人员讲只有一点 淘宝店铺商品存储到哪里 感觉有点像废话 :肯 ...

  4. facebook海量图片存储系统与淘宝TFS系统比较

    2019独角兽企业重金招聘Python工程师标准>>> 经典论文翻译导读之<Finding a needle in Haystack: Facebook's photo sto ...

  5. 《淘宝技术这十年》读书笔记 (三). 创造技术TFS和Tair

    前面两篇文章介绍了淘宝的发展历程和Java时代的变迁:             <淘宝技术这十年>读书笔记 (一).淘宝网技术简介及来源             <淘宝技术这十年&g ...

  6. 揭秘淘宝286亿海量图片存储与处理架构,互联网营销

    [IT168 专稿]8月27日下午,在IT168系统架构师大会存储与系统架构分论坛上,淘宝网技术委员会主席,淘宝网核心工程师章文嵩向我们详细介绍了淘宝网图片处理与存储系统的架构.章文嵩博士的演讲日程包 ...

  7. 《淘宝技术这十年》 读书笔记

    本书的作者是阿里的子柳,本书从工程师的角度讲述淘宝这个超大规模互联网系统的成长历程,及其所有主动和被动的技术变革的前因后果.书中有幕后故事.产品经验.架构演进.技术启蒙,也有大牛成长.业内八卦.失败案 ...

  8. 从个人网站到淘宝网 仰观Java时代淘宝的技术发展

    从2003年的一个个人对个人(C2C)的商品交易网站到如今的淘宝网,其实在作为个人网站发展的时间里并不长.那么在这段时间里,淘宝究竟是如何发展的呢?在这篇文章里我们将找到淘宝网的发展历史以及所用到的技 ...

  9. 淘宝技术发展 - 子柳撰写

    http://kb.cnblogs.com/page/132724/ 目录 一.引言 二.个人网站 三.Oracle/支付宝/旺旺 四.淘宝技术发展(Java时代:脱胎换骨) 五.淘宝技术发展(Jav ...

最新文章

  1. 从一道面试题谈谈一线大厂码农应该具备的基本能力
  2. 通过Blender将PMX模型转为FBX导入Unity
  3. Android Zip文件解压缩代码
  4. sapi cli php mac,make: *** [sapi/cli/php] Error 1 解决办法
  5. centos 安装mysql5.6.20_Linux学习15-CentOS安装mysql5.6环境
  6. python3 中文文件名_Python3上传中文文件名的问题
  7. 美图手机告别文,写得真好!
  8. scrapy报错:ModuleNotFoundError
  9. java出租车计费系统_基于JavaEE的出租车计费系统的设计实验报告
  10. rtmp协议发送mp3和aac裸流的方法
  11. python 异常 exception_关于Python中异常(Exception)的汇总
  12. R语言创建空数据框(Empty Data Frame )用于追加数据
  13. MacOS Big Sur 如何安装创新SBX-Fi Surround 5.1Pro(USB外置)声卡?
  14. 怎么调大计算机浏览器内字体,电脑浏览器怎么设置字体大小
  15. android是硬件还是软件,浅谈Android软硬件巧妙整合的开发技巧
  16. 详解jsPlumb这个javascript的可拖动连线库
  17. Ubuntu下bazel卸载与安装
  18. 可供量、现有量、承诺量
  19. Linux防火墙常用命令
  20. 双11前夕,阿里启用机房巡检机器人、京东加了2000+台服务器!这下你们可以放心剁手了...

热门文章

  1. 谷歌有只AI,自动给黑白视频上色,走到哪它都认识你
  2. 【新功能发布】事件监控升级-支持自动化处理云产品异常
  3. MariaDB一之编译安装MariaDB、MariaDB初始化及MariaDB的图形化工具
  4. java - What is a fat JAR? - Stack Overflow
  5. SQL server 2008 中的五个系统数据库详解
  6. RHEL 6 配置yum源
  7. 企业呼吁更多关注网络安全
  8. jQuery通过event获取点击事件的事件对象
  9. 从2个命令简单聊聊CentOS账户锁定原理
  10. 初探 performance - 监控网页与程序性能