基本结构
- 1. 网络虚拟化
- - 1.1 大二层交换网络
  - 1.2 SDN(Software Defined Network)
  - 1.3 NFV(Network Function Virtualization)
- 2. 存储虚拟化
- - 2.1 块存储
  - - 2.1.1 FC-SAN
    - 2.1.2 IP-SAN
  - 2.2 文件共享存储
- 3. 容器技术
- - 3.1 Docker
  - 3.2 Harbor
  - 3.3 Kubernetes
  - - 3.3.1 基本信息
    - 3.3.2 服务发现机制
    - 3.3.3 Namspace资源隔离
    - 3.3.4 容器应用资源配额
    - 3.3.5 应用统一配置管理
- 4. Mesos提供资源的管理和调度
- 5. 用户安全认证
- 书中给出的技术体系建议
- 新的改变
- 功能快捷键
- 合理的创建标题，有助于目录的生成
- 如何改变文本的样式
- 插入链接与图片
- 如何插入一段漂亮的代码片
- 生成一个适合你的列表
- 创建一个表格
- - 设定内容居中、居左、居右
  - SmartyPants
- 创建一个自定义列表
- 如何创建一个注脚
- 注释也是必不可少的
- KaTeX数学公式
- 新的甘特图功能，丰富你的文章
- UML 图表
- FLowchart流程图
- 导出与导入
- - 导出
  - 导入

基本结构

1. 网络虚拟化

通过技术手段使原来一个物体服务器的单ip端点存在变为多个拥有独立IP的虚拟机，且虚拟机的IP地址和物理机的IP地址属于两个不同的IP地址平面，相互隔离

1.1 大二层交换网络

即虚拟局域网，只有交换没有路由。如VXLAN和GRE。

1.2 SDN(Software Defined Network)

通过虚拟化平台提供的网络管理界面，采用软件方式完成任意业务所需的底层网络的规划、部署、扩容和自动化管理能力。
软硬件耦合，要求厂商自己有实现底层协议的能力，目前各个厂商Restful API没有一个统一的标准。
网络层次分为：

数据平面
控制平面
SDN Controller定义的网络管理接口（Restful API）

1.3 NFV(Network Function Virtualization)

软硬件分离，网络功能虚拟化实现

2. 存储虚拟化

普遍的设计思路为以IP-SAN为核心，最下层是一个存储池，集成了各类存储设备，最上层有一个标准网关，负责控制存储池里的所有存储单元，在网关之上开放Restful API接口供上层应用调用。

图在P12

2.1 块存储

2.1.1 FC-SAN

基于光纤的SAN存储设备。性能特别高，网络存储特别快，一般用于高性能I/O场景。缺点是端口数量有限，交换机不能任意扩展，不适合大规模云计算。

2.1.2 IP-SAN

基于IP的SAN技术。性能与FC-SAN差距10-15%，可满足Hadoop的存储要求

2.2 文件共享存储

通常由多个X86服务器或者存储设备组成一个超大的存储网，在其上提供分布式文件系统，如GlusterFS，Ceph等，使用该技术的有各类云盘。特点是规模可以很大，但是读写性能差，I/O存储比较慢，适合小数据量的读取，可作为文件备份或者是文件存储，不适合存储数据库的数据文件。

3. 容器技术

Docker提供微服务基础虚拟化技术，将微服务进程打包成独立镜像，存储在统一的镜像仓库里（Harbor实现镜像服务高可用以及安全管理），Kubernetes实现容器编排，Jenkins、Git/Gitlab、SonarQube、Openshift提供授权管理和web界面推进DevOps。

3.1 Docker

提供容器标准化和基础组件标准化打包。

3.2 Harbor

一个企业级的 Docker Registry，可以实现 images 的私有存储、容灾备份、日志统计和权限控制等功能。可以通过:

Keepalived、Haproxy、MySQL-Replicas
Harbor on Kubernetes

实现Harbor服务的高可用

3.3 Kubernetes

3.3.1 基本信息

Kubernetes可以实现资源调度，容器发布，状态监控，弹性扩容，滚动更新，故障恢复，服务发现，负载均衡等。
其实现了：

自动化的任务管理：
- 应用自动发布
- 应用自动故障恢复
- 应用扩容缩容
- 应用滚动升级
微服务架构体系的支撑
- 服务拆分
- 服务发现
最大化资源的利用率

3.3.2 服务发现机制

kubernetes的服务发现机制包括：

环境变量：严格要求服务创建的先后顺序
DNS服务：可能存在DNS性能问题
Ingress机制实现将不同的URL访问请求转发到不同的service后端

3.3.3 Namspace资源隔离

通过不同的namespace实现不同工作组的区分，实现pod、service、rc等k8s资源的隔离，对应openshift的project概念。
初步设想实现用户二级管理，在每个独立namespace内实现管理员和用户机制，namespace级别的管理员对应cluster级别的普通用户。

3.3.4 容器应用资源配额

kubernetes可以在容器、Pod和Namespace三个级别对集群的资源进行限制。

在容器级别，主要是CPU、内存的限制。
在pod级别，可以对一个Pod中全部容器的可用资源进行限制。
namespace级别，可以既对全部Pod的计算资源进行限制，也可以对资源对象的数量进行限制，包括可创建的Pod、RC、Service等资源对象的个数。

3.3.5 应用统一配置管理

kubernetes提供了ConfigMap对象，可以通过将该资源对象挂载到容器某路径或注入环境变量的形式进行配置。
kubernetes也提供了Secret对象，提供了加密数据的配置注入。

4. Mesos提供资源的管理和调度

有几类不适合容器云提供服务的程序：

Hadoop/Spark的大数据类应用本身对资源的消耗很高，且自带调度管理功能，在容器环境里直接运行并不适合。
对性能要求高，要求运行稳定的程序
容易引起内核崩溃的程序

故我们需要考虑容器化应用和非容器化应用并存的环境。
一般有几种解决思路：

静态分区：将容器化环境和非容器化环境的主机进行静态切割，各自单独管理，相互隔离。
虚拟机资源池：通过OpenStack等虚拟机技术将底层物理资源虚拟化为资源池，容器环境和非容器环境在其上进行资源的动态调整，以提高资源利用率
使用Hadoop YARN作为统一的资源管理调度平台，将大数据应用改造为YARN支持的方式运行。
使用DC/OS（数据中心操作系统），将物理资源进行抽象使用统一的平台对资源进行管理。对应的有Apache Mesos

Mesos的核心功能是实现数据中心资源的统一管理，为运行在Mesos上的软件提供资源，这些软件在Mesos架构中称为应用框架，应用框架使用Mesos提供的资源工作，在这个过程中Mesos将主机的资源封装为资源邀约，根据算法分配给某一个框架，该应用框架收到资源邀约之后根据自己的内部状态和算法决定如何使用该资源邀约。
目前Mesos资源配置支持5种内置资源类型：CPU、GPU、内存、磁盘和网络端口，和其他的扩展资源类型。

5. 用户安全认证

OAuth实现用户认证

书中给出的技术体系建议

如果企业搭建基于容器的PaaS平台，Kubernetes是比较好的选择；如果要搭建数据中心DC/OS，则Mesos+Kubernetes是最优的选择。

你好！这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

全新的界面设计 ，将会带来全新的写作体验；
在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
全新的 KaTeX数学公式 语法；
增加了支持甘特图的mermaid语法¹ 功能；
增加了 多屏幕编辑 Markdown文章功能；
增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

项目
- 项目
  - 项目

项目1
项目2
项目3

计划任务
完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	`'Isn't this fun?'`	‘Isn’t this fun?’
Quotes	`"Isn't this fun?"`	“Isn’t this fun?”
Dashes	`-- is en-dash, --- is em-dash`	– is en-dash, — is em-dash

创建一个自定义列表

Markdown: Text-to-HTML conversion tool
Authors: John; Luke

如何创建一个注脚

一个具有注脚的文本。²

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\forall n\in\mathbb NΓ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ(z)=∫0∞tz−1e−tdt .\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

Mon 06Mon 13Mon 20已完成进行中计划一计划二现有任务Adding GANTT diagram functionality to mermaid

关于 甘特图 语法，参考这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:

张三李四王五你好！李四, 最近怎么样?你最近怎么样，王五？我很好，谢谢!我很好，谢谢!李四想了很长时间,文字太长了不适合放在一行.打量着王五...很好... 王五, 你怎么样?张三李四王五

这将产生一个流程图。:

链接

长方形

圆

圆角长方形

菱形

关于 Mermaid 语法，参考这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

Created with Raphaël 2.2.0开始我的操作确认？结束yesno

关于 Flowchart流程图 语法，参考这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件或者.html文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

mermaid语法说明 ↩︎
注脚的解释 ↩︎

《企业级大数据平台构建：架构与实现》阅读总结相关推荐

【读书】《非暴力沟通》
得益于十点读书,在2月中完成开年来的第二本书籍阅读.本书作者马歇尔.卢森堡博士是国际性缔造和平组织非暴力沟通中心(CNVC)的创始人和教育服务主管,马歇尔.卢森堡博士由于在促进人类和谐共处方面的突出成 ...
《非暴力沟通》读书笔记
<非暴力沟通>读书笔记 [本书作者] 马歇尔·卢森堡,卡尔·罗杰斯的弟子,同时其思想深受"圣雄"甘地和存在主义哲学大师马丁·布伯的影响. [本书要解答的问题] 是什么使 ...
摘录与感想：非暴力沟通
摘录与感想:非暴力沟通 1.观察2.感受3.需要4.请求首先,留意发生的事情.我们此刻观察到什么?不管是否喜欢,只是说出人们所做的事情.要点是,清楚地表达观察结果,而不判断或评估.接着,表达感受,例 ...
《非暴力沟通》：有些话真的可以好好说
本文结构 - 前言 - 非暴力沟通简介 - 01 观察和评价 - 02 体会表达感受 - 03 感受背后的需求 - 04 提出请求 - 需求驱动 - 好好说话的力量本文共计:3000字4图预计阅读 ...
《非暴力沟通》- 笔记
非暴力沟通的核心:当我们情绪受伤的时候,都是某些需求没有满足.你现在最要做的是发现需求,而不是发泄情绪.情绪是双刃剑,说出去很爽快,但会造成不好的后果. 非暴力沟通的步骤: 先说事实再说感受再说自 ...
2016年第7本：非暴力沟通
周首送我的这本书<非暴力沟通>(NVC,Nonviolent Communication),是马歇尔·卢森堡博士发明的一种沟通方式,全书强调了四要素,共8个字:观察.感受.需要.请求.就是 ...
《非暴力沟通》听书心得
沟通很多时候也是一门艺术,不是吗? 1. 一句话总结非暴力沟通方法可以概况为四个字:观.感.需.求观(观察).感(感受).需(需求).求(请求) 2. 精髓含义观:仔细观察当下,而不要和& ...
【读书笔记】非暴力沟通
文章目录背景理论感受反省总结推荐背景这个季度看了几本书,比如<一个人的朝圣>.<呼兰河传>.<元红>等等,女友也推荐了一本书给我,书名是<非暴 ...
读《非暴力沟通》马歇尔·卢森堡
前言非暴力生活的一个关键就是:感激生活的赐予,而不贪心为了清晰的表达感受,我们编制了以下的词汇表表达我们的需要得到满足时的感受兴奋/喜悦/欣喜/甜蜜/精力充沛/兴高采烈/ 感激/感动/乐观/自 ...
《非暴力沟通》读后感
最近几天偶然了发现桌角的kindle,才发现原来已经好久没有碰过她了.打开封盖,还有百分之60+的电量,着实让我一惊. 为了不让花出去的钱白白吃土,于是每天晚上睡觉前,就打开kindle看一会儿, 最 ...

《企业级大数据平台构建：架构与实现》阅读总结

目录