TSFS终端存储文件技术构架

中国区第一梯队--实力对接--海洋renhe333333

终端存储文件系统是一个边缘计算对等网络节点系统，每一个节点从逻辑上都含有一个ShardChain(WorkChain2)的账本和数据库系统的运行时系统。数据库节点之间按照一定规则组成小网络集群，集群的种子路由信息存在链上，路由表本身在存在P2P系统之上。客户端在使用系统的时候，通过区块链系统完成缴费，并获得数据库系统的访问权限。由此，整个MainChain 链本身是一个低频交易系统，WorkChain1是一个持续计费的高TPS系统，数据库是一个兼顾高频和低频的数据访问系统，数据库本身通过 WorkChain2对数据的响应进行统计，并在检查点的时候对请求和响应信息进行对账。从思路来说，链提供的是类似于公有云的计费系统，并提供了跨越多个物理IDC的信息连接能力。

在使用场景下，终端存储文件系统Client端都有Agent部署，在Agent中内置实现了Facebook的高性能时序数据存储引擎Beringei，10分钟的数据默认存放在本地，提供急速访问能力。Beringei将数据放置于内存中，与基于HBase的传统数据库存储时间序列数据方式相比，查询延时缩短了73倍，吞吐量提高了14倍。

10分钟后的数据通过RPC传输到终端存储文件系统数据库集群进行存储。

在终端存储文件系统中没有中心化的管理节点，只有数据存储节点。所有的存储节点都有着完全相同的职责，会对外界提供同样的服务，所以在整个系统中永远不会出现单点故障的问题

WORLDDATABASE DB DECENTRALIZED ARCHITECTURE

去中心化的架构使得系统的水平扩展非常容易，节点可以在任何时候直接加入到整个终端存储文件系统的集群中，并且只会造成集群中少量数据的迁移。

虚拟节点、分片和复制

终端存储文件系统的核心理念中有增量扩展(Incremental Scalability) 的原则，这就需要一种能够在一组节点中动态分片的机制，这种机制又称为 DHT(distributed hash table)，通过DHT这种策略，终端存储文件系统能够将负载合理的分配到不同的存储节点上。终端存储文件系统的分片策略依赖于一致性哈希(Consistent hashing)，并且针对于节点的异构性做了进一步的调整，我们使用的算法称为CCHDP算法，其主要步骤为:

首先采用聚类算法对设备集合进行分类，使得每个类中设备的权重差异在预设的范围内;

聚类完成后,类间的布局机制按照类的权重将[0,1]区间划分为多个子区间，为每个类分配一个子区间，将落入某个子区间的数据分配给相应的类

每个类的内部布局机制使用一致hash方法进行数据的再次分配，将数据布局到具体的设备上。

可以将上述算法简单理解为，所有的键(Key)在存储之前都会通过哈希函数得到一个唯一的值，终端存储文件系统构造了一个特殊的逻辑结构，所有组成单元连接在一起形成一个固定长度的环，环的的最大值单元和最小值单元连到一起。

每一个节点都会被终端存储文件系统在这个环中分配一个随机的位置，而这个节点会处理从哈希的输出在当前节点前的所有键。假设有一个键值对 (key, value), Hash(key)的结果位于上图中的绿色区域，从环中的位置开始按照顺时针的顺序寻找，找到的第一个节点，也就是节点B就会成为协调者(coordinator)。协调者负责处理当前的键值对，上图中的每一个节点都会负责与其颜色相同的部分。

终端存储文件系统中的每一个节点在刚刚加入集群时，会被分配一个随机的位置，由于算法的随机性可能会导致不同节点处理的范围有所不同，最终每一个节点的负载也并不相同。为了解决这个问题，终端存储文件系统使用了 -致性哈希算法的变种，将同一个物理节点分配到环中的多个位置，成为多个虚拟节点。

终端存储文件系统中的每一个节点在刚刚加入集群时，会被分配一个随机的位置，由于算法的随机性可能会导致不同节点处理的范围有所不同，最终每一个节点的负载也并不相同。为了解决这个问题，终端存储文件系统使用了一致性哈希算法的变种，将同一个物理节点分配到环中的多个位置，成为多个虚拟节点。

为了解决负载的不均衡的问题，除了上面使用虚拟节点的策略之外，终端存储文件系统还提供了另外一种策略，可以将数据的哈希分成m个大小相等的区域，n个节点每一个处理m/n个分区，当某一个节点因为故障或者其他原因需要退出集群时，会将它处理的数据分片随机分配给其它的节点，当有节点加入系统时，会从其它的节点中「接管」对应的数据分片。

终端存储文件系统为了达到高可用性和持久性，防止由于节点宕机故障导致数据丢失，将同一份数据在协调者和随后的N-1个节点上进行了备份，N 是一个可以配置的值，在一般情况下都为3。

也就是说，上图中黄色区域的值会存储在三个节点A、B和C中，绿色的区域会被B、C、D三个节点处理，从另一个角度来看，A节点会处理范围在(C,A]之间的值，而B节点会处理从(D,B]区域内的值。

终端存储文件系统中，负责存储某一个特定键值对的节点列表叫做偏好列表 (preference list)，因为虚拟节点在环中会随机存在，为了保证出现节点故障时不会影响可用性和持久性，终端存储文件系统的偏好列表中的全部节点都是不同的物理节点。在终端存储文件系统项目中，偏好列表存放在链上由此可以简单理解为，路由信息存放于链上。

在Key-value模型下，不同的处理可以存储不同类型的数据，我们支持如下方式的存储方式:

集群和分区

终端存储文件系统是基于去中心化的底层公链，因而将拓展到物联网、云计算、大数据、新电商、新零售等诸多场景。终端存储文件系统的底层核心技术不是一个单一的技术，而是一个集成了近年多方面研究成果的基础之上的综合性技术系统。其中最核心的是:共识机制、密码学原理和数据存储。在我们的技术团队的全力努力下，终端存储文件系统平台具有“高性能’ “高安全性 “快速接入”的特色。

高性能:依托于以太坊强大的基础架构，能够承载海量并发操作，支持海量数据存储。

高安全性:具备了ETH高强度的账户权限策略、安全的密钥管理体系，能够确保用户资金的安全。

快速接入:我们有强大的技术团队做技术支持和服务，并提供开放的API，运用DBFT机制，方便不同类型的用户快速高效的接入和构建应用。

价值创造是由物联网设备和接近物联网设备的边缘计算中心组成。其中物联网设备是指所有接入终端存储文件系统的设备，这些设备已经默认了终端存储文件系统共识协议，并且已经申请到终端存储文件系统的身份标识符，在终端存储文件系统的身份标识符中包含了设备厂商信息，设备身份信息，设备特有信息等等，将这些信息采用基于零知识证明的加密算法加密之后存储在设备的芯片中。这些物联网设备每一个都是一个小矿机，其产生的信息经过一定的算法校验之后会产生终端存储文件系统通证TSFS。接入终端存储文件系统的所有物联网设备都可以通过经终端存储文件系统改造的协议进行通信。

数据的读写

终端存储文件系统的一个指定集群中的任意节点都能够接受来自客户端的对于任意Key的读写请求，所有的请求都通过RPC调用执行，客户端在选择节点时，通过WorkChain3获得访问所需要的授权，并且通过 WorkChain1进行通信的路由转发。

处理读写请求的节点叫做协调者(coordinator)，前N个「健康」的节点会参与读写请求的处理终端存储文件系统使用Quorum一致性协议来保证系统中的一致性，协议中有两个可以配置的值:R和W，其中R是成功参与一个读请求的最小节点数，而W是成功参与写请求的最小节点数。

当R=2时，所有的读请求必须等待两个节点成功返回对应键的结果，读请求的时间取决于返回最慢的节点。对于写请求来说也是完全相同的;当协调者接收到了来自客户端的写请求put()时，它会创建一个新的向量时钟 (vector clock)，然后将新版本的信息存储在本地，之后向偏好列表 (preference list)中的前N-1个节点发送消息，就会对冲突尝试进行解决并将结果重新写回对应的节点。

R+W>N的情况下，终端存储文件系统保证读操作总能读到最新的数据，在没有节点故障的情况下，可以近似理解强一致性。

数据冲突和向量时钟

边缘计算中心是为了弥补物联网设备计算能力弱的缺点，在接近物联网设备的位置设置一个中间层计算设备，该中间层计算设备可以接入到网络中并提供比物联网设备强大很多的计算能力。通过这个中间计算层，物联网设备能够更加可靠地接入到网络中，进一步可以进行信息和价值的自由传递。

物联网设备和边缘计算中心结合之后产生价值创造层。由于物联网设备的计算能力有限，无法准确地计算物联网设备创造的价值。因此物联网设备将相关的价值信息上传到矿机中，矿机根据这些信息，通过相关价值创造算法计算物联网设备创作的价值。价值计算完成之后，交由下层进行价值验证。

1.价值验证

价值验证类似于区块链中的共识算法，需要物联网设备的相关参与方共同完成对价值的验证，一旦验证完成，价值将被确认并且转移到下面的价值评估层中进行评估。如果没有完成验证，所产生的价值则被归为无效价值。

2.价值评估

价值评估层主要是对已经验证的价值进行进一步校验，在这一步骤中完成价值真伪的验证，这一过程是相关参与方共同完成的。在这个过程中，终端存储文件系统还需要对抗诸如双花等形式的恶意攻击。

3.价值确认

价值确认功能是将已经验证完毕的价值打包，然后将打包的信息传递给价值转移部分，使得物联网设备创造的价值正式以数字货币的形式存在于终端存储文件系统中。

边缘计算的架构改造

终端存储文件系统基于区块链的边缘计算的架构改造分为五层架构分别是物联设备层、边缘计算层、物联网通讯层、共识层以及应用层。

物联设备层:物联设备层为接入结合区块链的物联网的物联设备，为系统提供数据来源，并且物联设备可以通过结合区块链的物联网系统进行互联互动。

边缘计算层:边缘计算层包括边缘数据清洗、边缘数据存储、报警信息推送以及边缘设备响应。

边缘设备数据清洗:边缘计算设备根据自身算力对数据进行简单的清洗，例如检查数据一致性，处理无效值和缺失值等。

边缘数据存储:边缘计算节点根据设备的存储容量对数据进行存储，并在网络允许的条件下进行数据上传。

报警信息推送:边缘计算节点设备的报警信息以短信、邮件等方式进行相关人员的推送。

边缘设备响应:边缘计算节点根据边缘设备的特性做出设备响应，以保证设备响应的实时性以及设备性能要求的一致性。

物联网通讯层:物联设备通信通过4G、5G、NB-loT、以太网、串口总线、并口总线等通用的物理进行通讯，通讯协议可以支持http、mqtt. Canbus、 Modbus、CC-link等。

共识层:共识层分为数据验证层、数据存储层、区块链层、智能合约层

数据验证层:主要用于验证物联设备上传数据的安全性、有效性、并对上传数据做价值评估以及数据价值确认。

数据存储层:结合区块链的物联网的数据底层存储提供了基于 BigChainDB的方式。

区块链层:区块链层是结合区块链的物联网的核心层，在区块链层最重要的是共识算法。针对物联网的特性，采用基于POS共识算法的深度定制算法-IPOS算法。IPOS算法分为两部分:通过缴纳一定的保证金成为验证节点。成为验证节点之后可以通过竞争出块权来获取收益，验证节点作为收益相关方法，可以积极地参与到网络的维护中。

智能合约层:智能合约层是区块链重要的组成部分。智能合约是连接区块链和应用的桥梁。同时智能合约也起到黏合剂的作用，将用户的规则和区块链的共识算法粘结在一起。保证用户可以合法并且安全地消费区块链上面的数据，通过区块链传递价值。智能合约层包括合约管理和合约接口两大部分。其中，合约管理负责智能合约的部署、安装、调试运行等操作。合约接口提供给外部系统调用。

应用层:应用层包括供应商注册、设备注册、数据查询、访问服务、设备互动等，并且结合区块链的物联网系统开放DAPP开发接口，用户可以通过开发DAPP实现自定义功能。

边缘计算技术的应用

在整体系统架构中，终端存储文件系统边缘计算节点是为了弥补物联网设备计算能力弱的缺点，在接近物联网设备的位置设置一个中间层计算设备，该中间层计算设备可以接入到网络中并提供比物联网设备强大很多的计算能力。通过这个中间计算层，物联网设备能够更加可靠地接入到网络中，进一步可以进行信息和价值的自由传递。

软件平台

基于结合了区块链的物联网的低层公链开发平台。底层公链是具备图灵完备的区块链生态系统。

硬件平台

结合区块链的物联网边缘计算方案的硬件平台由接入链的物联网设备，如智能门锁、智能机顶盒、智能冰箱等与边缘计算服务器、区块链节点服务器、数据存储服务器、Web服务器等组成。

数据通讯

物联设备数据通信是通过4G、5G、NB-loT、以太网、串口总线、并口总线等通用的物理进行通讯，通讯协议可以支持http、mqtt、Canbus. Modbus、CC-link等。

在价值转移应用中，数据通过自主研发共享存储协议进行通讯，共享存储协议是终端存储文件系统开发的用于物联网设备之间的通信协议，由于共享存储协议在开发时并没有加入价值传输的相关内容。为了实现万物皆可交易的理念，在共享存储协议的基础上增加了价值转移的相关内容，从而诞生了共享存储协议。通过共享存储协议，物联网设备之间不但能够进行信息的交换，同时还能实现价值的转移。

安全措施

(1)身份认证

身份认证是指该用户是否具有对某种资源的访问和使用权限，进而使计算机和网络系统的访问策略能够可靠、有效地执行，防止攻击者假冒合法用户获得资源的访问权限，保证系统和数据的安全，以及授权访问者的合法利益。

(2)权限管理

权限管理是结合区块链的物联网系统里设置的安全规则或者安全策略，用户可以访问而且只能访问自己被授权的资源。

(3)数据加密

结合区块链的物联网系统对物联设备上传数据使用了数据加密技术，信息由发送端自动加密，并且进行数据包封装，然后作为不可阅读和不可识别的数据穿过互联网，当数据信息到达目的地，将被自动重组、解密，而成为可读的数据。

TSFS终端存储文件技术构架相关推荐

云存储服务器技术,云存储技术构架-服务器运维
云存储技术构架-服务器运维云是在云计算(cloud compung)概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术, 是指通过集群应用.网络技术或分布式文件系统等功能,将网络中大量各种 ...
多个硬件体验如一，华为终端分布式技术会重构IoT生态吗？
文|编程浪子来源 | 螳螂财经(ID:TanglangFin) 随着新基建理念的深入贯彻,从事硬件行业的人们不禁提出了一个至关重要的问题:物联网的商业价值在什么情况下才能最大化? 物联网的概念由比尔 ...
云终端微型计算机配置,超融合与终端虚拟化技术在医院“云桌面”部署中的运用...
潘愈嘉陆丹艳 [摘要] 目的:随着医院信息化建设程度的不断提高,为了解决终端运维困难,老HIS等系统与新操作系统之间存在兼容性等问题.方法:很多医院使用了云桌面来解决,但是几种云桌面的实现方 ...
报告论文：汽车GPS调度系统车载终端设计技术方案
汽车GPS调度系统车载终端设计技术方案背景: 随着科技的发展,GPS民用化的趋势越来越让人期待.因为芯片小型化技术的日趋成熟,使得GPS芯片组在缩小体积或是降低耗电量等方面都有很大的突破. 这样,高 ...
Google的技术构架 (精心整理版)
网上看到的一篇关于GOOGLE技术架构的详细介绍. 了解云计算标杆Google的技术构架一.前言计算无疑是今年IT 技术界最热点的关键词之一.从谷歌趋势分析来看,国际上Cloud computi ...
车路协同趋势下车载终端的技术和产品形态演进
来源:智能网联交通 2019年7月5日,由博闻创意和CCIA 智能网联专委会.佐智汽车举办的「2019中国汽车互联与车路协同大会」在深圳举行.兴民智通首席运营官张人杰先生在会上发表了题为"车 ...
小灵通终端上网技术介绍
小灵通终端上网技术黄鹤晖严冬摘要小灵通系统上网两分钟:数据上网和终端上网.数据上网指计算机通过PHS Modem(小灵猫)拨号上网,网终端只需配置PHS拨号接入服务器:终端上网指用户通过小灵通 ...
TSFS终端存储文件系统边缘计算技术构架
终端存储文件系统是一个边缘计算对等网络节点系统,每一个节点从逻辑上都含有一个ShardChain(WorkChain2)的账本和数据库系统的运行时系统. 数据库节点之间按照一定规则组成小网络 ...
系统架构、技术构架、应用构架区别
系统架构:指的完整系统的组成架构,例如系统分成几个部分?服务平台.管理门户.终端门户.ATM门户.外部系统以及接口.支撑系统等,将这些系统进行合理的划分.然后再进行功能分类细分,例如服务平台内部划分为 ...

TSFS终端存储文件技术构架

TSFS终端存储文件技术构架相关推荐

最新文章

热门文章