devops之gcp core infrastructure fundamental, 存储
最后更新2022/02/06
gcp的存储具有广义存储的意义，不仅仅是磁盘，更具有数据持久化的含义，而且格式很多有六种类型：
- cloud storage，这是传统存储，当然类型不是传统的FC，SCSI块设备存储，而是目标存储，说人话就是随便存的存储。那就是个目录、文件，你随便往里面扔就行了，直接用，可以跨整个internet提供，数据在传输过程中省缺就是SSL加密，对其它用户加密/保密（？不知道更确切是哪个），自由/动扩充，管理容易，没最低消费，按使用量付费。如果觉得上下传带宽不够，可以把物理介质（磁盘、磁带、USB）发送到可解收的服务站点，高速上传，也可以把定期磁带备份运到你的指定地址；
目标存储的可设置参数：
| 可设定参数 | 说明 |
|---|---|
| Globally unique name | 保存文件，就是一堆文件都扔在里面 |
| storage class | 存储（性能）级别 |
| location（地区或多地区） | 指定放什么地方 |
| IAM access policy，access list | 访问授权列表 |
| Object version setting | 同名的还能有个版本信息（保存多份历史版本） |
| Object lifecycle management rule | 生命周期管理规则，用于设定备份、归档等等，到时自动执行相应动作，等于赠送了一个备份管理 |
数据如何从用户到google或反过来传送？
- 网络，几G，增量数据，直接网上HTTPS/SSL加密发送
- 定期介质发送服务，快递嘛
- 标准机架设备，这最安全了，可以装个密码锁，错误加电即销毁，把整个数据中心端上天（我瞎说的。。。）
cloud storage也是其它存储的基础，例如import/export进行数据表和文件间转换，保存文件在cloud storage，计算引擎也需要保存log、数据或者启动脚本到cloud storage；
cloud SQL，这是支持标准SQL访问的存储，格式化存储，具体保存在啥设备上，透明，未知，标准的RDBMS，两种数据库：MySQL和PostgreSQL，后台都帮你处理好了，用就是了，还要啥自行车；
扩展性很好，最大支持64 CPU，100G以上内存（到底多少不知道），支持复制，而且可以和gcp之外的MySQL进行复制。MySQL有两代可用，二代功能强，但一代支持一些特别功能，例如支持按需运行，如果超过15分钟没人访问，自动下线，这样可节省使用费；cloud spanner，这个主要面向高度扩展性，其实也是SQL协议的（SQL ANSI2011+)，如果预计未来伸缩性比较大，那么就不要用sql，用spanner。这个可以支持跨全球扩展，并保证一致性。其它特点包括支持大于2TB数据，支持join，二级索引，支持自动复制，一致性，高可用等，同时性能也很强，几万IOPS不在话下。
cloud bigQuery，这个一般是与大数据分析有关的应用，如果也需要RDBMS，那就要搞这个了，这个看名称，就是两个含义：大，（只能）查，特点就不用多说了；
cloud bigtable，这是NoSQL的存储，NoSQL其实是No Standard and SQL，而不是非SQL，就是不那么标准的SQL的意思，支持非严格一致的字段，表，用于大概差不多，有点关系又不严格的数据库，介于SQL和杂乱文本之间的一种东西。支持的查询方案是HBase：Hadoop database API，如果你原来就使用Hadoop Mapreduce，则可以直接透明过渡过来，而且无需你管理后台的支持设施；特点为：
- 大，支持超过1TB的结构化、半结构化数据
- 快，支持快速访问数据变化（有一定写一致保障）
- NoSQL标准兼容；
- 提供时间序列支持，自动按时间排序、索引
- 支持大数据，既能完成异步批处理，又可以进行实时处理
- 支持机器学习
BigTable的访问方式有3（感觉其实就是一种，哥说3种就3种吧）：
- API，包括Java HBase client，HBase REST，VM上运行的API支持包
- Stream流，可以使用framework: google dataflow stream, spark stream, storm等等，通过类似事件触发，bigtable有数据输如/变化，这边就可以触发动作
- Batch，Hadoop，spark，dataflow等都提供batch方式访问，定期去取数据
- cloud datastore，与sql/spanner配套一样，bigtable与datastore配套，datastore是bigtable的扩展版，支持原子操作，高可用、高扩展，高性能，同时保证（最终）一致性；
devops之gcp core infrastructure fundamental, 存储相关推荐
- devops之gcp core infrastructure fundamental, 虚拟机及网络
最后更新2022/02/04 介绍虚拟机及与虚拟机相关的技术 Virtual Private Cloud (VPC虚拟私有云)网络 每个project都有自己的VPC,你可以自由设置,可以把各种资源及 ...
- 技术小白成长之路 - 谷歌云端 GCP Cloud Engineering - 第一篇 - 核心架构 Core Infrastructure
谷歌云端 GCP Cloud Engineering Certificate - 第一篇 - 核心架构 Core Infrastructure 谷歌云端平台GCP简介 1. 谷歌云端平台GCP资源层次 ...
- kubernetes+Azure DevOps实现.Net Core项目的自动化部署均衡负载
1. 前言 前前后后学习kubernetes也有一个来月了,关于kubernetes的博客也写了有十多篇.但是技术如果无法落地到实际的应用场景终归是纸上谈兵,所以就有了这一出:通过结合kubernet ...
- iOS 之Core Data持久化存储
iOS教程:Core Data数据持久性存储基础教程 其实最近更多的是在写这篇文章<iOS教程:使用持久性数据Core Data>,这篇是<iOS开发教程:Storyboard全解析 ...
- 6-spark学习笔记-spark core 数据与存储
- Asp.net Core 使用Redis存储Session
学习博客:http://www.cnblogs.com/hantianwei/p/5723959.html 转载于:https://www.cnblogs.com/jiangjing/p/584619 ...
- 使用Azure DevOps Pipeline实现.Net Core程序的CD
上一次我们讲了使用Azure DevOps Pipeline实现.Net Core程序的CI.这次我们来演示下如何使用Azure DevOps实现.Net Core程序的CD. 实现本次目标我们除了A ...
- GCP 上的人工智能实用指南：第一、二部分
原文:Hands-On Artificial Intelligence on Google Cloud Platform 协议:CC BY-NC-SA 4.0 译者:飞龙 本文来自[ApacheCN ...
- GCP 上的人工智能实用指南：第三、四部分
原文:Hands-On Artificial Intelligence on Google Cloud Platform 协议:CC BY-NC-SA 4.0 译者:飞龙 本文来自[ApacheCN ...
最新文章
- 听说，京沪津的人都爱直接“看牌”买买买
- hdu2594 简单KMP
- WindowsPhone设置启动欢迎页面
- Coursera吴恩达《序列模型》课程笔记（2）-- NLP Word Embeddings
- java迭代器逆序_迭代器
- 17级Biter的微机课程学习总结另外附上19年微机考试题型分布
- MapGIS6.7环境设置
- 谈谈网络通信中的 ACK、NACK 和 REX
- 【大牛感悟】淘宝陈吉平职业生涯--敬不甘平凡的自己
- LOI2504 [HAOI2006]聪明的猴子
- 【Android工具】音频频率发生器，声音测试，音响测试，各种频率声音合成工具...
- 路由器交换机之重设密码
- 平方和立方和公式推导
- 135节---------4月11日
- 蓝桥杯 ADV-222 求arccos
- 服务器重启报kernel panic - not syncing :Attempted to kill init 错误
- 钕铁硼产品磁性能相对检测原理与技术
- QList、QVector，QSet，std::vector，std::list直接的转换关系总结
- AgileEAS.NET5.0-界面设计器-使用说明书(上)
- HTML5开源游戏引擎lufylegend1.7.0发布