s3fs挂载对象存储到本地

一、S3FS介绍：

S3FS是Google开发的一款支持将对象存储中的bucket以文件形式导出的文件系统接口，兼容POSIX语法

S3FS基于FUSE开发的文件系统，允许Linux和Mac OS 挂载S3的存储桶到本地文件系统，并保持对象原来格式。

只要支持S3存储协议的都支持挂载，比如minio、华为云OBS、阿里云OSS等

二、安装 s3fs

centos 安装

yum -y install s3fs-fuse

ubantu 安装

apt install s3fs

三、挂载使用

S3FS参数说明

命令： s3fs BUCKET:[/PATH] MOUNTPOINT [OPTION]…

OPTIONS:

passwd_file: 指定要使用的s3fs密码文件
url: 设置用于访问对象存储的 url
endpoint: 存储端点，默认值为us-east-1
umask: 为装载目录设置umask
no_check_certificate: 不检查认证
use_path_request_style: 使用路径请求样式(使用传统API调用)，兼容支持与不支持S3的类似api的虚拟主机请求
nonempty: 允许挂载点为非空目录
default_acl: 默认private，取值有private，public-read
ensure_diskfree: 设置磁盘可用空间。如果磁盘空闲空间小于此值，s3fs不适用磁盘空间
allow_other: 允许所有用户访问挂载点目录，可将该挂载点用于创建NFS共享
use_cache: 指定本地文件夹用作本地文件缓存。默认为空
del_cache: 在S3FS启动和退出时删除本地缓存
enable_noobj_cache: 减少s3fs发送的列举桶的请求，从而提升性能
dbglevel: 设置消息级别，默认关键（critical）, 可以使用 info 进行调试输出
multireq_max: 列出对象的并行请求的最大数据
parallel_count: 上传大对象的并行请求数
retries: 默认值为5，传输失败重试次数
storage_class: 存储类（默认为标准) ，值有 standard，standard_ia , onezone_ia , reduced_redundancy
connect_timeout: 连接超时时间，默认为300秒
readwrite_timeout: 读写超时，默认值为60秒
max_stat_cache_size: 最大静态缓存大小，默认值为100000个条目(约40MB)
stat_cache_expire: 为stat缓存中条目指定过期时间(秒)。此过期时间表示自stat缓存后时间
-f : 前台输出执行信息
-d: 将dubug消息输出到 syslog中

创建访问密钥文件

将aksk或账号密码写入文件中

#命令格式：echo [IAM用户访问密钥ID]:[ IAM用户访问密钥] >[密钥文件名]
echo "username:password" > /data/s3fs/.passwd-s3fs # 设置密钥智能被当前用户访问
chmod 600 /data/s3fs/.passwd-s3fs

挂载 S3存储

利用S3fs在Amazon EC2 Linux实例上挂载S3存储桶

# 命令格式：s3fs [S3存储桶名] [本地目录名] -o passwd_file=[密钥文件名] -o endpoint=[区域名]s3fs prodfile-bucket /data/s3fs/s3mnt -o passwd_file=/data/s3fs/.passwd-s3fs -o url=http://s3.cn-north-1.amazonaws.com.cn -o endpoint=cn-north-1

挂载华为云OBS

https://support.huaweicloud.com/fstg-obs/obs_12_0008.html

# 命令格式：s3fs [S3存储桶名] [本地目录名] -o passwd_file=[密钥文件名] -o endpoint=[区域名]s3fs prodfile-bucket /data/s3fs/s3mnt -o passwd_file=/data/s3fs/.passwd-s3fs -o url=http://obs.cn-north-4.myhuaweicloud.com

挂载minio存储

# 需要加上 use_path_request_style进行兼容
s3fs prodfile-bucket /data/s3fs/s3mnt -o passwd_file=/data/s3fs/.passwd-s3fs -o url=http://www.mydomain.com:9001  -o use_path_request_style# 可以使用 -o dbglevel=info -f  进行输出调试信息
s3fs prodfile-bucket /data/s3fs/s3mnt -o passwd_file=/data/s3fs/.passwd-s3fs -o url=http://www.mydomain.com:9001  -o use_path_request_style -o dbglevel=info -f

开机自动挂载

写入到 /etc/fstab

# 命令格式：s3fs#[S3存储桶名] [本地目录名] fuse _netdev,[options1],[optins2]... 0 0s3fs#prodfile-bucket /data/s3fs/s3mnt fuse _netdev,passwd_file=/data/s3fs/.passwd-s3fs,url=http://obs.cn-north-4.myhuaweicloud.com  0 0

s3fs挂载对象存储到本地相关推荐

如何在自己的阿里服务器上挂载对象存储（OSS）方法及使用收费
挂载步骤和使用方法:如何在自己的阿里服务器上挂载对象存储(OSS) **使用收费:**因为OSS不只是空间收费的,他还有其他的收费项目,如下图: 所以说如果你是包月购买了以后,使用过程中还是有流量费用 ...
sharepoint文件夹本地同步_干货 | 如何将主机文件自动同步至对象存储
注:最好利用京东云对象存储来存储一些静态文件,不建议用其直接存储数据库之类的数据文件,而且也会受到速度的影响,当然我们可以利用其存储备份文件. 今天我们来利用s3fs工具将京东云对象存储挂载到京东云云 ...
干货 | 对象存储的跨地域复制概述
一.功能和使用场景 1.功能跨区域复制(Bucket Cross-Region Replication) 是跨不同区域的Bucket自动.异步复制Object,它会将对源Bucket中的对象的改动( ...
centos查看历史指令记录_CentOS 系统通过 curlftpfs 挂载 FTP 服务器为本地磁盘
为了做个稳定的图床,缙哥哥也是拼了.计划通过 FTP 挂载对象存储为本地磁盘,以便更好的保护数据.这里就做个 Linux 的 CentOS 操作系统,安装了宝塔面板(这个有没有不影响)的情况下,使用 ...
如何从零起步搭建一个分布式对象存储的架构
早在几年前,云存储还只是存在于业界大佬们口中的一个概念,其应用场景仅供大公司使用.突飞猛进的网络技术似乎在一瞬间就把这个概念普及到千家万户,现在云存储已经是大家司空见惯的一个网络服务了.比如大家用的百 ...
复杂存储过程学习_对象存储在无人驾驶高精度地图的场景实践
在自动驾驶领域有这样一个说法:关注自动驾驶的进展,就看高精地图的动态,因为他们才是加速自动驾驶汽车落地的幕后推手.本文介绍了QingStor®️对象存储的种种优势以及许多针对该场景的特性,分享了对象存 ...
使用z-file和七牛云对象存储构建个人网盘
最近想构建一个个人网盘玩玩,用来存储些资源.这里使用云服务器+zfile+七牛云对象存储进行搭建. 租用云服务器首先需要在常用的云服务网站买一个云服务器,如阿里云.腾讯云等.这里不说该怎么租用和搭建 ...
天翼云应用之-对象存储挂载
最近学习了使用如何使用天翼云对象存储挂载,通过FUSE实现对将对象存储挂载进用户的空间文件系统. 用户空间文件系统(Filesystem in Userspace,简称FUSE)是一个面向类 ...
vmware挂载san存储_戏说块存储文件存储对象存储
用通俗的语言讲述复杂的技术块存储一个块存储设备通常包含一组控制器和一组磁盘阵列大多数情况下,块存储是通过SAN网络连接服务器.当然,除了SAN网络之外,还有其它多种块存储访问方式,比如 ...

s3fs挂载对象存储到本地

s3fs挂载对象存储到本地

一、S3FS介绍：

二、安装 s3fs

三、挂载使用

S3FS参数说明

创建访问密钥文件

挂载 S3存储

挂载华为云OBS

挂载minio存储

开机自动挂载

s3fs挂载对象存储到本地相关推荐

最新文章

热门文章