AWS 基础服务学习
AWS 学习笔记
Amazon EFS
Amazon EFS是一种弹性文件系统,可提供简单、可扩展、完全托管的弹性 NFS 文件系统。关于NFS可以了简单理解为网络磁盘分区。
1.关于NFS
NFS最大的功能就是可以透过网络,让不同的机器、不同的操作系统、可以彼此分享网络上的某个文件系统。 NFS可以让你的PC连接远程的NFS服务器上分享的目录,并挂载到本地端的PC中。就以window系统打个例子:
远程的NFS服务器上分享了一个目录,姑且叫做Z盘啦。现在本地PC通过NFS可以将远端的NFS服务器上分享的目录挂在到本地上命名为U的磁盘上(名字自定义)。在本地端的PC看起来,那个远程主机的目录就好像是自己的一个磁盘分区槽一样!用起来跟你PC上插入的U盘一样!重点是这个共享的目录可以供给多台计算机一起使用。下面的图片可以很好地解析:
2.创建Amazon EFS
Amazon EFS可以在控制台或 AWS CLI 创建文件系统,还可以用编程的方式访问,如:AWS SDKs 或 Amazon EFS API。
2.1 EFS API CreateFileSystem
关于Amazon EFS创建文件系统的API官方解析在这里:https://docs.aws.amazon.com/zh_cn/efs/latest/ug/API_CreateFileSystem.html
2.2 CLI
关于使用AWS CLI,官方提供的小案例:例如,以下 create-file-system
命令在 us-west-2
AWS 区域创建一个文件系统。该命令指定 MyFirstFS
作为创建令牌。
$ aws efs create-file-system \
--creation-token MyFirstFS \
--performance-mode generalPurpose \
--throughput-mode bursting \
--region us-west-2 \
--tags Key=Name,Value="Test File System" Key=developer,Value=rhoward \
--profile adminuser
这里定义了令牌,性能模式(creation-token),吞吐量模式(throughput-mode),区域(region),标签(tags).
3. 删除EFS
3.1 CLI
要删除EFS要两大步:
- 删除挂载目标
- 删除文件系统
删除挂载目标
用describe-file-systems查询文件系统列表,用describe-mount-targets查询挂载点,用delete-mount-target删除挂载点
$ aws efs describe-file-systems \
--profile adminuser \
--region aws-region$ aws efs describe-mount-targets \
--file-system-id file-system-ID \
--profile adminuser \
--region aws-region$ aws efs delete-mount-target \
--mount-target-id ID-of-mount-target-to-delete \
--profile adminuser \
--region aws-region
删除文件系统
用delete-file-system删除文件系统
$ aws efs delete-file-system \
--file-system-id ID-of-file-system-to-delete \
--region aws-region \
--profile adminuser
4. 挂载EFS
4.1 CLI
直接挂载
用create-mount-target创建挂载目标,用describe-mount-targets查询挂载目标,linux端用mount命令挂载
$ aws efs create-mount-target \
--file-system-id file-system-id \
--subnet-id subnet-id \
--security-group ID-of-the-security-group-created-for-mount-target \
--region aws-region \
--profile adminuser$ aws efs describe-mount-targets \
--file-system-id file-system-ID \
--profile adminuser \
--region aws-region$ sudo mount \
-t nfs \
-o nfsvers=4.1,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport \
mount-target-DNS:/ ~/efs-mount-point
通过EFS 访问点挂载
$ aws efs create-access-point --file-system-id fs-01234567 --client-token 010102020-3$ sudo mount -t efs -o tls,accesspoint=access-point-id file-system-id efs-mount-point
5.修改挂载目标安全组
5.1 CLI
用modify-mount-target-security-groups修改挂载目标安全组,每个挂载目标都会有关联的网络接口,该操作就是修改网络接口的安全组
$ aws efs modify-mount-target-security-groups \
--mount-target-id mount-target-ID-whose-configuration-to-update \
--security-groups security-group-ids-separated-by-space \
--region aws-region-where-mount-target-exists \
--profile adminuser
6. EFS 访问点
访问点 是 EFS 文件系统中特定于应用程序的入口点,便于轻松地管理应用程序对共享数据集的访问。访问点还可以为文件系统强制执行不同的根目录,以便客户端只能访问指定目录或其子目录中的数据。
用create-access-point创建访问点,用delete-access-point删除访问点。
aws efs create-access-point \
--file-system-id fs-01234567 \
--client-token 010102020-3aws efs delete-access-point \
--access-point-id fsap-092e9f80b3fb5e6f3 \
--client-token 010102020-3
AWS FSx
Amazon FSx 通过为工作负载提供本机兼容性和功能集(如基于 Microsoft Windows 的存储、高性能计算、机器学习和电子设计自动化),提供了完全托管的第三方文件系统。Amazon FSx 支持两种文件系统类型:Lustre 和 Windows File Server。
1. 关于Lustre
Lustre是一个开源、分布式并行文件系统软件平台,具有高可扩展、高性能、高可用等特点。Lustre的可伸缩体系结构具有三个主要组成部分。元数据服务器,对象存储服务器和客户端。
官网的架构图:
- MGS(Management Server),MGS存储集群中的所有Lustre文件的配置信息,并为其它Lustre组件提供信息。
- MDS(Metadata Servers),MDS存储元数据,每个MDS管理Lustre文件系统中的名称和目录。
- OSS(Object Storage Servers),OSS用于存放客户端业务访问数据。
制作MDT
mkfs.lustre \
--mdt \
--index=0 \
--fsname=lustre \
--failnode=xxx.xxx.xxx.xx@tcp \
--mgsnode=xxx.xxx.xxx.xx@tcp \
--mgsnode=xxx.xxx.xxx.xx@tcp \
--reformat \
--verbose \
/dev/mapper/mdt
制作MGT
mkfs.lustre \
--mdt \
--index=0 \
--fsname=lustre \
--failnode=xxx.xxx.xxx.xx@tcp \
--mgsnode=xxx.xxx.xxx.xx@tcp \
--mgsnode=xxx.xxx.xxx.xx@tcp \
--reformat \
--verbose \
/dev/mapper/mgt
制作OST
mkfs.lustre \
--ost \
--index=0 \
--fsname=lustre \
--failnode=xxx.xxx.xxx.xx@tcp \
--mgsnode=xxx.xxx.xxx.xx@tcp \
--mgsnode=xxx.xxx.xxx.xx@tcp \
--reformat \
--verbose \
/dev/mapper/OST0001
其他就不继续讨论了,核心不是介绍Lustre
2.使用FSx for Lustre
2.1关于创建Amazon FSx for Lustre
https://docs.aws.amazon.com/zh_cn/fsx/latest/LustreGuide/getting-started-step1.html
2.2关于安装Lustre客户端
如上面的Lustre组件图一样,想要使用Amazon FSx for Lustre 文件系统,首先安装开源Lustre客户端。这里截取官方提供的AmazonLinux2的安装方法,更多安装方法:https://docs.aws.amazon.com/zh_cn/fsx/latest/LustreGuide/install-lustre-client.html
#查看内核
uname -r#跟新内核
#4.14.104-95.84.amzn2.x86_64 基于x86的EC2实例,
#或4.14.181-142.260.amzn2.aarch64 或更高可以跳过步骤
sudo yum -y update kernel && sudo reboot#安装客户端
sudo amazon-linux-extras install -y lustre2.10
2.3客户机上挂载Lustre
更平常挂载一样,使用mount命令,如:
sudo mount -t lustre -o noatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx
查看
df
AWS Config
AWS Config 提供了关于您的 AWS 账户中 AWS 资源配置的详细信息。通过AWS Config我们可以很好得监控AWS账号中的资源使用,对AWS资源进行监控。随着对应用程序的需求的不断增加,记录您的 AWS 资源的需求也在不断增加。AWS Config 可以帮助您监督自己的应用程序资源。
AWS Config在以下情况可以帮助你进行资源监控:
- 资源管理
- 审计与合规性
- 对配置更改进行管理与故障排除
df
AWS Config
AWS Config 提供了关于您的 AWS 账户中 AWS 资源配置的详细信息。通过AWS Config我们可以很好得监控AWS账号中的资源使用,对AWS资源进行监控。随着对应用程序的需求的不断增加,记录您的 AWS 资源的需求也在不断增加。AWS Config 可以帮助您监督自己的应用程序资源。
AWS Config在以下情况可以帮助你进行资源监控:
- 资源管理
- 审计与合规性
- 对配置更改进行管理与故障排除
- 安全分析
AWS 基础服务学习相关推荐
- AWS云服务学习资料(部分上传至GitHub)
文章目录 主要模块 boto3模块的学习 EC2(Elastic Compute Cloud) 简介 功能 定价 常见问题 S3(Simple Storage Service) 简介 功能 定价 问题 ...
- AWS云上基础服务体验课程
上海-亚马逊 AWS 联合创新中心举办的 SA Immersion Day(Workshop)线上技术培训会圆满结课.此次培训主题为 AWS 云上基础服务介绍及体验,共邀请了两位 AWS 解决方案架构 ...
- 微服务基础知识点学习笔记(持续更新)
微服务基础知识点学习笔记(持续更新) Conrtoller层 整体包括:HTTP协议,JavaWeb三大组件(filter.servlet.listener).SpringMVC(SpringMVC的 ...
- AI+智能服务机器人应用基础【学习报告】
AI+智能服务机器人应用基础[学习报告] 前言 欢迎使用 VMware Workstation VMware Workstation创建新的虚拟机 AI+智能服务机器人应用基础 项目1. 服务机器人整 ...
- 学习笔记-Windows 基础服务搭建
Windows 基础服务搭建 磁盘管理 例1 新建两个 10G 的硬盘,名称为 A-10-1.A-10-2,挂载到主机; 新建镜像卷,使用所有空间,驱动器号为 D. 1. 开始--管理工具--计算机管 ...
- Linux学习十五 DNS基础服务
Linux学习十五 DNS基础服务 DNS服务基础 BIND 伯利克Internet 域名服务 主要执行程序:/usr/sbin/named 系统服务:named 默认端口: TCP/UDP 53 主 ...
- 从AWS云服务开始学习弹性设计
随着社会不断地进步,信息革命正在悄无声息地向全球范围蔓延开来,而为了开展这场革命,必须让企业参与进来并实现转型,没有转型成功的企业注定要被淘汰.企业想要够构建自己的信息系统,其中一种较为容易的办法是借 ...
- 云计算教程学习入门视频课件:云计算基础服务组件讲解
云计算服务,即 云服务 . 中国云计算服务网 的定义是:指可以拿来作为服务提供使用的云计算产品.包括云主机.云空间.云开发.云测试和综合类产品等.在本文中和大家讲解下云计算基础服务组件内容,基础服务组 ...
- 云计算学习入门:云计算基础服务组件讲解
云计算服务,即 云服务 . 中国云计算服务网 的定义是:指可以拿来作为服务提供使用的云计算产品.包括云主机.云空间.云开发.云测试和综合类产品等.在本文中和大家讲解下云计算基础服务组件内容,基础服务组 ...
最新文章
- Linux多台服务器共用密钥ssh自动登陆
- 《ZEMAX光学设计超级学习手册》一一2.6 本章小结
- minio 文件预览_MinIO安装及使用教程(windows) 及java 上传 下载
- python购物车结算不了_Python——购物车问题
- mysql创建触发器的权限_MYSQL设置触发器权限问题的解决方法
- FJ省队集训DAY2 T2
- 了解GDAL的图像处理/Python
- 2019开放大学计算机应用基础,国家开放大学2019年电大计算机应用基础考试试题一试卷(国家开放大学).doc...
- mysql jdbc 水晶报表,水晶报表Crystal Report2008使用JDBC连接MySQL数据库-详细步骤
- mybatis的xmly文件与必依赖
- 常用软胶材料基本知识
- 怎么才能画出漂亮的思维导图
- 腾讯云DDoS攻击防护指南
- 华为往事(九)--邳州开局
- kubernetes的DevOps业务(七):Jenkins,GitLab,Harbor,Tekton,GitOps
- 精彩总结:★加密网页破解大法★
- 2022年新消费趋势洞察(护肤篇):时下大热的美妆成分全面复盘
- 分类梨和苹果的两种方法
- Thinkphp实战(一)——项目配置与模板导入
- 学习Python语言,需要先了解一下Python有什么优缺点?