AWS 学习笔记

Amazon EFS

Amazon EFS是一种弹性文件系统,可提供简单、可扩展、完全托管的弹性 NFS 文件系统。关于NFS可以了简单理解为网络磁盘分区。

1.关于NFS

NFS最大的功能就是可以透过网络,让不同的机器、不同的操作系统、可以彼此分享网络上的某个文件系统。 NFS可以让你的PC连接远程的NFS服务器上分享的目录,并挂载到本地端的PC中。就以window系统打个例子:

远程的NFS服务器上分享了一个目录,姑且叫做Z盘啦。现在本地PC通过NFS可以将远端的NFS服务器上分享的目录挂在到本地上命名为U的磁盘上(名字自定义)。在本地端的PC看起来,那个远程主机的目录就好像是自己的一个磁盘分区槽一样!用起来跟你PC上插入的U盘一样!重点是这个共享的目录可以供给多台计算机一起使用。下面的图片可以很好地解析:

2.创建Amazon EFS

Amazon EFS可以在控制台或 AWS CLI 创建文件系统,还可以用编程的方式访问,如:AWS SDKs 或 Amazon EFS API。

2.1 EFS API CreateFileSystem

关于Amazon EFS创建文件系统的API官方解析在这里:https://docs.aws.amazon.com/zh_cn/efs/latest/ug/API_CreateFileSystem.html

2.2 CLI

关于使用AWS CLI,官方提供的小案例:例如,以下 create-file-system 命令在 us-west-2 AWS 区域创建一个文件系统。该命令指定 MyFirstFS 作为创建令牌。

$  aws efs create-file-system \
--creation-token MyFirstFS \
--performance-mode generalPurpose \
--throughput-mode bursting \
--region us-west-2 \
--tags Key=Name,Value="Test File System" Key=developer,Value=rhoward \
--profile adminuser

这里定义了令牌,性能模式(creation-token),吞吐量模式(throughput-mode),区域(region),标签(tags).

3. 删除EFS

3.1 CLI

要删除EFS要两大步:

  • 删除挂载目标
  • 删除文件系统

删除挂载目标

describe-file-systems查询文件系统列表,用describe-mount-targets查询挂载点,用delete-mount-target删除挂载点

$  aws efs describe-file-systems \
--profile adminuser \
--region aws-region$  aws efs describe-mount-targets \
--file-system-id file-system-ID \
--profile adminuser \
--region aws-region$ aws efs delete-mount-target \
--mount-target-id ID-of-mount-target-to-delete \
--profile adminuser \
--region aws-region

删除文件系统

delete-file-system删除文件系统

$ aws efs delete-file-system \
--file-system-id ID-of-file-system-to-delete \
--region aws-region \
--profile adminuser

4. 挂载EFS

4.1 CLI

直接挂载

create-mount-target创建挂载目标,用describe-mount-targets查询挂载目标,linux端用mount命令挂载

$ aws efs create-mount-target \
--file-system-id file-system-id \
--subnet-id  subnet-id \
--security-group ID-of-the-security-group-created-for-mount-target \
--region aws-region \
--profile adminuser$  aws efs describe-mount-targets \
--file-system-id file-system-ID \
--profile adminuser \
--region aws-region$  sudo mount \
-t nfs \
-o nfsvers=4.1,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport \
mount-target-DNS:/   ~/efs-mount-point

通过EFS 访问点挂载

$  aws efs create-access-point --file-system-id fs-01234567 --client-token 010102020-3$  sudo mount -t efs -o tls,accesspoint=access-point-id file-system-id efs-mount-point

5.修改挂载目标安全组

5.1 CLI

modify-mount-target-security-groups修改挂载目标安全组,每个挂载目标都会有关联的网络接口,该操作就是修改网络接口的安全组

$ aws efs modify-mount-target-security-groups \
--mount-target-id mount-target-ID-whose-configuration-to-update \
--security-groups  security-group-ids-separated-by-space \
--region aws-region-where-mount-target-exists \
--profile adminuser

6. EFS 访问点

访问点 是 EFS 文件系统中特定于应用程序的入口点,便于轻松地管理应用程序对共享数据集的访问。访问点还可以为文件系统强制执行不同的根目录,以便客户端只能访问指定目录或其子目录中的数据。

create-access-point创建访问点,用delete-access-point删除访问点。

aws efs create-access-point \
--file-system-id fs-01234567 \
--client-token 010102020-3aws efs delete-access-point \
--access-point-id fsap-092e9f80b3fb5e6f3 \
--client-token 010102020-3

AWS FSx

Amazon FSx 通过为工作负载提供本机兼容性和功能集(如基于 Microsoft Windows 的存储、高性能计算、机器学习和电子设计自动化),提供了完全托管的第三方文件系统。Amazon FSx 支持两种文件系统类型:Lustre 和 Windows File Server。

1. 关于Lustre

Lustre是一个开源、分布式并行文件系统软件平台,具有高可扩展、高性能、高可用等特点。Lustre的可伸缩体系结构具有三个主要组成部分。元数据服务器,对象存储服务器和客户端。

官网的架构图:

  • MGS(Management Server),MGS存储集群中的所有Lustre文件的配置信息,并为其它Lustre组件提供信息。
  • MDS(Metadata Servers),MDS存储元数据,每个MDS管理Lustre文件系统中的名称和目录。
  • OSS(Object Storage Servers),OSS用于存放客户端业务访问数据。

制作MDT

mkfs.lustre \
--mdt \
--index=0 \
--fsname=lustre \
--failnode=xxx.xxx.xxx.xx@tcp \
--mgsnode=xxx.xxx.xxx.xx@tcp \
--mgsnode=xxx.xxx.xxx.xx@tcp  \
--reformat \
--verbose \
/dev/mapper/mdt

制作MGT

mkfs.lustre \
--mdt \
--index=0 \
--fsname=lustre \
--failnode=xxx.xxx.xxx.xx@tcp \
--mgsnode=xxx.xxx.xxx.xx@tcp \
--mgsnode=xxx.xxx.xxx.xx@tcp  \
--reformat \
--verbose \
/dev/mapper/mgt

制作OST

mkfs.lustre \
--ost \
--index=0 \
--fsname=lustre \
--failnode=xxx.xxx.xxx.xx@tcp \
--mgsnode=xxx.xxx.xxx.xx@tcp \
--mgsnode=xxx.xxx.xxx.xx@tcp  \
--reformat \
--verbose \
/dev/mapper/OST0001

其他就不继续讨论了,核心不是介绍Lustre

2.使用FSx for Lustre

2.1关于创建Amazon FSx for Lustre

https://docs.aws.amazon.com/zh_cn/fsx/latest/LustreGuide/getting-started-step1.html

2.2关于安装Lustre客户端

如上面的Lustre组件图一样,想要使用Amazon FSx for Lustre 文件系统,首先安装开源Lustre客户端。这里截取官方提供的AmazonLinux2的安装方法,更多安装方法:https://docs.aws.amazon.com/zh_cn/fsx/latest/LustreGuide/install-lustre-client.html

#查看内核
uname -r#跟新内核
#4.14.104-95.84.amzn2.x86_64 基于x86的EC2实例,
#或4.14.181-142.260.amzn2.aarch64 或更高可以跳过步骤
sudo yum -y update kernel && sudo reboot#安装客户端
sudo amazon-linux-extras install -y lustre2.10
2.3客户机上挂载Lustre

更平常挂载一样,使用mount命令,如:

sudo mount -t lustre -o noatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

查看

df

AWS Config

AWS Config 提供了关于您的 AWS 账户中 AWS 资源配置的详细信息。通过AWS Config我们可以很好得监控AWS账号中的资源使用,对AWS资源进行监控。随着对应用程序的需求的不断增加,记录您的 AWS 资源的需求也在不断增加。AWS Config 可以帮助您监督自己的应用程序资源。

AWS Config在以下情况可以帮助你进行资源监控:

  • 资源管理
  • 审计与合规性
  • 对配置更改进行管理与故障排除
df

AWS Config

AWS Config 提供了关于您的 AWS 账户中 AWS 资源配置的详细信息。通过AWS Config我们可以很好得监控AWS账号中的资源使用,对AWS资源进行监控。随着对应用程序的需求的不断增加,记录您的 AWS 资源的需求也在不断增加。AWS Config 可以帮助您监督自己的应用程序资源。

AWS Config在以下情况可以帮助你进行资源监控:

  • 资源管理
  • 审计与合规性
  • 对配置更改进行管理与故障排除
  • 安全分析

AWS 基础服务学习相关推荐

  1. AWS云服务学习资料(部分上传至GitHub)

    文章目录 主要模块 boto3模块的学习 EC2(Elastic Compute Cloud) 简介 功能 定价 常见问题 S3(Simple Storage Service) 简介 功能 定价 问题 ...

  2. AWS云上基础服务体验课程

    上海-亚马逊 AWS 联合创新中心举办的 SA Immersion Day(Workshop)线上技术培训会圆满结课.此次培训主题为 AWS 云上基础服务介绍及体验,共邀请了两位 AWS 解决方案架构 ...

  3. 微服务基础知识点学习笔记(持续更新)

    微服务基础知识点学习笔记(持续更新) Conrtoller层 整体包括:HTTP协议,JavaWeb三大组件(filter.servlet.listener).SpringMVC(SpringMVC的 ...

  4. AI+智能服务机器人应用基础【学习报告】

    AI+智能服务机器人应用基础[学习报告] 前言 欢迎使用 VMware Workstation VMware Workstation创建新的虚拟机 AI+智能服务机器人应用基础 项目1. 服务机器人整 ...

  5. 学习笔记-Windows 基础服务搭建

    Windows 基础服务搭建 磁盘管理 例1 新建两个 10G 的硬盘,名称为 A-10-1.A-10-2,挂载到主机; 新建镜像卷,使用所有空间,驱动器号为 D. 1. 开始--管理工具--计算机管 ...

  6. Linux学习十五 DNS基础服务

    Linux学习十五 DNS基础服务 DNS服务基础 BIND 伯利克Internet 域名服务 主要执行程序:/usr/sbin/named 系统服务:named 默认端口: TCP/UDP 53 主 ...

  7. 从AWS云服务开始学习弹性设计

    随着社会不断地进步,信息革命正在悄无声息地向全球范围蔓延开来,而为了开展这场革命,必须让企业参与进来并实现转型,没有转型成功的企业注定要被淘汰.企业想要够构建自己的信息系统,其中一种较为容易的办法是借 ...

  8. 云计算教程学习入门视频课件:云计算基础服务组件讲解

    云计算服务,即 云服务 . 中国云计算服务网 的定义是:指可以拿来作为服务提供使用的云计算产品.包括云主机.云空间.云开发.云测试和综合类产品等.在本文中和大家讲解下云计算基础服务组件内容,基础服务组 ...

  9. 云计算学习入门:云计算基础服务组件讲解

    云计算服务,即 云服务 . 中国云计算服务网 的定义是:指可以拿来作为服务提供使用的云计算产品.包括云主机.云空间.云开发.云测试和综合类产品等.在本文中和大家讲解下云计算基础服务组件内容,基础服务组 ...

最新文章

  1. Linux多台服务器共用密钥ssh自动登陆
  2. 《ZEMAX光学设计超级学习手册》一一2.6 本章小结
  3. minio 文件预览_MinIO安装及使用教程(windows) 及java 上传 下载
  4. python购物车结算不了_Python——购物车问题
  5. mysql创建触发器的权限_MYSQL设置触发器权限问题的解决方法
  6. FJ省队集训DAY2 T2
  7. 了解GDAL的图像处理/Python
  8. 2019开放大学计算机应用基础,国家开放大学2019年电大计算机应用基础考试试题一试卷(国家开放大学).doc...
  9. mysql jdbc 水晶报表,水晶报表Crystal Report2008使用JDBC连接MySQL数据库-详细步骤
  10. mybatis的xmly文件与必依赖
  11. 常用软胶材料基本知识
  12. 怎么才能画出漂亮的思维导图
  13. 腾讯云DDoS攻击防护指南
  14. 华为往事(九)--邳州开局
  15. kubernetes的DevOps业务(七):Jenkins,GitLab,Harbor,Tekton,GitOps
  16. 精彩总结:★加密网页破解大法★
  17. 2022年新消费趋势洞察(护肤篇):时下大热的美妆成分全面复盘
  18. 分类梨和苹果的两种方法
  19. Thinkphp实战(一)——项目配置与模板导入
  20. 学习Python语言,需要先了解一下Python有什么优缺点?

热门文章

  1. linux文件系统基本知识
  2. H5网页App和纯原生的App差距在哪?
  3. jvm Classload method介绍
  4. Javascript 思维导图
  5. windows2008下 IIS7 HTTP 错误 404.2 - Not Found 解决方法(图文)
  6. java中将string类型转int类型或者将string类型转long类型方法(亲测)
  7. 基于curl的php多线程类(异步请求)
  8. PHP的异常处理异常捕获错误类
  9. jQuery的var let const
  10. JS的parseFloat