Fabric-solo on k8s
Fabric-solo on k8s
本文主要内容:
- 为简化实验,将e2e_cli多组织,改为单组织,部署solo共识算法,此时无需kafka/zookeeper集群,另,e2e_cli demo不需要ca等
- 将e2e_cli下orderer、peer0.org1、peer1.org1、cli等docker-compose yaml文件转化为k8s文件
- 搭建k8s with flannel集群
- 修改dns,fabric实例化链码,将启动一个docker容器,该容器在k8s环境外,但仍在flannel网络下,需要修改docker的dns,以便链码容器能够解析道k8s集群中的地址
- 启动fabric on k8s,测试e2e_cli
说明:本实验中的yaml文件配置,是按绝对路径设置的,若需,请按本实验环境的fabric路径或者,修改yaml文件/测试脚本中的路径。
本文Fabric文件路径:
/root/go/src/github.com/hyperledger/fabric/examples/e2e_cli
另,本次实验,为纯手动模式,未使用nfs共享配置,未进行数据持久化,未对链码容器进行监控。
将e2e_cli修改为单组织
手动部署,需要对移植的yaml文件进行大量的修改配置,为了减少修改yaml文件中的配置。修改为单组织,只需要删除configx.yaml中org2、org3的部分,删除docker-compose-cli.yaml中有关org2的部分,删掉base/docker-compose-base.yaml有关org2的部分,修改scripts/script.sh,去掉有关org2、org3的加入通道、安装链码、操作、查询链码等部分,修改joinChannel()函数,去掉org2。
此部分较为简单,为了后续在k8s上部署成功,需要此部分单组织的功能验证,以及正确的配置文件。
详细修改内容即测试,见本人的Hyperledger fabric with one org。
另,该部分内容,已经放到github上,可以直接拉取下来使用,scylhy/e2e_cli.one.org。
此外,k8s 不支持用点组成的容器名,所以上述的文件,还需做相应的更改。
k8s的namespace将各pod分割开来,其域名解析就是 podhostname.namespace,这样就可以对Fabric原来的域名方式进行简单修改,即可使用。
同时,我也尝试过将他们放在一个块,即同一个域名下,对于k8s来说,他们都在default namespace,但当时因为k8s集群dns出现问题,没有实验成功。
后来是直接按划分组织的方式进行实验,并取得成功的。
适应k8s,修改组织域名情况:
组织/节点 | 原域名 | 适应k8s,更改后的域名 |
---|---|---|
orderer | orderer.exmaple.com | orderer.ord |
org1 | org1.example.com | org1 |
peer0.org1 | peer0.org1.example.com | peer0.org1 |
peer1.org1 | peer1.org1.example.com | peer1.org1 |
搭建k8s集群
因为我这只剩一台可用的服务器,所以试验时,采用单节点集群,集群部署后,一定要测试好dns,使节点能够互相解析到。
搭建单节点的k8s集群,见我的Creating a single master cluster with kubeadm。
若需多节点,可参考kubeadm 搭建k8s集群。
配置docker dns
因为链码容器是在k8s之外,所以链码容器无法解析到k8s集群中的域名,但是,可以为docker容器添加k8s的kube-dns服务的ip,让docker容器解析k8s内容域名时,可通过kube-dns解析到。
首先,确定k8s的kube-dns的ip,即域名服务器的ip:
root@hw1:~# kubectl get svc -n kube-system -owide
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
kube-dns ClusterIP 10.96.0.10 <none> 53/UDP,53/TCP 11h k8s-app=kube-dns
root@hw1:~#
得到k8s集群域名服务器地址为10.96.0.10,此外还需要确定搜索的域名,可通过启动一个busybox查看其/etc/resov.conf文件:
root@hw1:~# kubectl exec -it busybox /bin/sh
/ # cat /etc/resolv.conf
nameserver 10.96.0.10
search default.svc.cluster.local svc.cluster.local cluster.local openstacklocal
options ndots:5
/ #
这里,我们得到k8s集群搜索的域名:
default.svc.cluster.local svc.cluster.local cluster.local
以及,一个参数ndots:5
,该参数的意思是搜索几层域名,k8s中一般搜索5层即可解析到域名。
修改docker配置,在/etc/docker/daemon.json中添加如下参数:
{"dns":["127.0.0.53","10.96.0.10"],"dns-search" : ["default.svc.cluster.local","svc.cluster.local","cluster.local"],"dns-opts": ["ndots:5"]
}
以上三种参数缺一不可,不可打错,其中127.0.0.53为宿主机的使用的域名服务器。
重启docker服务
root@hw1:~# systemctl restart docker
启动一个docker容器,查看dns是否设置正确:
root@hw1:~# docker run -it ubuntu bash
root@9c926041b6bd:/# cat /etc/resolv.conf
search default.svc.cluster.local svc.cluster.local cluster.local
nameserver 127.0.0.53
nameserver 10.96.0.10
options ndots:5
root@9c926041b6bd:/#
稍后,在启动fabric后,再测试外部容器是否能够解析到k8s中fabric的节点。
启动fabric
首先,确保e2e_cli中设计的orderer.example、peer0.org1.example.com、peer1.org1.example.com已经改为orderer.ord、peer0.org1、peer1.org1,其他如ca、kafka、zookeeper此时试验不需要,直接删除即可。
k8s需要的yaml文件
root@hw1:~/go/src/github.com/hyperledger/fabric/examples/e2e_cli/k8s.solo# tree
.
├── cli
│ └── cli.yaml //cli容器
├── order
│ ├── orderer-deployment.yaml
│ ├── orderer-service.yaml
│ └── ord-name.yaml //ord namespace
├── org1
│ ├── org1-name.yaml //org1 namespace
│ ├── peer0.yaml
│ └── peer1.yaml
├── startall.sh
└── stopall.sh
上述涉及namespace、deployment(pod的一种副本管理器)、service三种资源。
a) namespace可以隔离相关资源,本试验用它来分隔组织,并且可以作为域名的一部分,如hostname.namespace以此解析道隔离外的pod。
b) deployment是一个pod的副本管理器,管理其生命周期等,方便扩容等,注意它是无状态的,部署solo时,尚可,但在部署kfk/zk需要使用stateful set。
c) service,通过label和pod相关联,关联后会创建endpoints,这样通过dns解析service找到对应的pod ip,可以访问到后端的pod,如此,解决了pod ip易变的情况。
这里,访问peer0,orderer,便可以通过配置的域名,peer0.org1,orderer.ord,对于k8s来说就是serviceName.namespace,解析到pod的ip,进而创建fabric需要的连接。
上述文件,可通过scylhy/e2e_cli.one.org获取,使用时需要注意fabric工程的位置。
生成密钥等文件
root@hw1:~/go/src/github.com/hyperledger/fabric/examples/e2e_cli# ./generateArtifacts.sh
启动fabric
./startall.sh
root@hw1:~# kubectl get pods -n ord
NAME READY STATUS RESTARTS AGE
orderer-7674786cd7-hlm4q 1/1 Running 0 12h
root@hw1:~# kubectl get pods -n org1
NAME READY STATUS RESTARTS AGE
cli-78865578c4-7994x 1/1 Running 12 12h
peer0-69f897ccbf-nl8qm 1/1 Running 0 12h
peer1-7df4868456
测试
测试前,需要确保docker容器可以解析道k8s内service ip;确保测试用的e2e_cli/script/script.sh已经对应修改完成。
测试docker容器,可以解析到k8s的service:
root@hw1:~# docker run -it ubuntu bash
root@9c926041b6bd:/# apt update
root@9c926041b6bd:/# apt install dnsutils -y
root@9c926041b6bd:/# nslookup orderer.ord
Server: 10.96.0.10
Address: 10.96.0.10#53Name: orderer.ord.svc.cluster.local
Address: 10.244.0.5root@9c926041b6bd:/# nslookup peer0.org1
Server: 10.96.0.10
Address: 10.96.0.10#53Name: peer0.org1.svc.cluster.local
Address: 10.101.100.62root@9c926041b6bd:/# nslookup peer1.org1
Server: 10.96.0.10
Address: 10.96.0.10#53Name: peer1.org1.svc.cluster.local
Address: 10.103.73.88root@9c926041b6bd:/#
测试fabric:
root@hw1:~# kubectl get pods -norg1
NAME READY STATUS RESTARTS AGE
cli-78865578c4-7994x 1/1 Running 12 12h
peer0-69f897ccbf-nl8qm 1/1 Running 0 12h
peer1-7df4868456-l8t68 1/1 Running 0 12h
root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer#
root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# ./scripts/script.shroot@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer# ./scripts/script.sh____ _____ _ ____ _____ _____ ____ _____
/ ___| |_ _| / \ | _ \ |_ _| | ____| |___ \ | ____|
\___ \ | | / _ \ | |_) | | | _____ | _| __) | | _| ___) | | | / ___ \ | _ < | | |_____| | |___ / __/ | |___
|____/ |_| /_/ \_\ |_| \_\ |_| |_____| |_____| |_____|Channel name : mychannel
org1
CORE_PEER_TLS_ROOTCERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/peers/peer0.org1/tls/ca.crt
CORE_PEER_TLS_KEY_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/peers/peer0.org1/tls/server.key
CORE_PEER_LOCALMSPID=Org1MSP
CORE_VM_ENDPOINT=unix:///host/var/run/docker.sock
CORE_PEER_TLS_CERT_FILE=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/peers/peer0.org1/tls/server.crt
CORE_PEER_LOCALMSPTYPE=bccsp
CORE_PEER_ADDRESSAUTODETECT=true
CORE_PEER_TLS_ENABLED=true
CORE_PEER_MSPCONFIGPATH=/opt/gopath/src/github.com/hyperledger/fabric/peer/crypto/peerOrganizations/org1/users/Admin@org1/msp
CORE_PEER_ID=cli
CORE_LOGGING_LEVEL=DEBUG
CORE_PEER_ADDRESS=peer0.org1:7051
===================== Querying on peer0.org1 on channel 'mychannel'... =====================
Attempting to Query peer0.org1 ...3 secsvalue is 100
===================== Query successful on peer0.org1 on channel 'mychannel' =====================
root@cli-78865578c4-7994x:/opt/gopath/src/github.com/hyperledger/fabric/peer#
测试过程中,会实例化一个链码容器,查看链码容器日志,之后链码查询,链码容器会输出查询结果:
root@hw1:~# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES11bd29a1008f dev-peer0.org1-mycc-1.0-4fac5ccda796c8f3c437d6950858e40cf37ea6bfa1f179a8ae8aa49ddc58b359 "chaincode -peer.add…" 12 hours ago Up 12 hours dev-peer0.org1-mycc-1.0root@hw1:~# docker logs -f 11bd29a1008f
ex02 Init
Aval = 100, Bval = 200
ex02 Invoke
Query Response:{"Name":"a","Amount":"100"}
后续工作
- 在k8s上部署kfk/zk集群,试验fabric witch kfk/zk consensus on k8s
- 数据持久化操作,保存fabric账本数据
- 链码容器监控,因其不在k8s上,所以要自己管理其生命周期,监控其状态,以及如何更好的好k8s配置
- 简易化操作,自动化部署fabric on k8s
- 在k8s上测试fabric各组件的可靠性
文件获取
- scylhy/e2e_cli.one.org
- scylhy/fabric.k8s
参考资料
- Creating a single master cluster with kubeadm
- “Failed to setup network for pod \ using network plugins “cni”: no IP addresses available in network: podnet; Skipping pod”
- Local DNS or Public DNS, why not both? (/etc/docker/daemon.json)
- 在 Kubernetes 上部署 Hyperledger Fabric v1.2 Solo(二)
Fabric-solo on k8s相关推荐
- Fabric实战(四)-多机部署fabric网络-solo
####多机部署fabric(solo模式) 本案例为: 一个orderer节点 两个peer节点 三台物理机: orderer:192.168.2.148peer0org1:192.168.2.10 ...
- 用Kubernetes部署超级账本Fabric的区块链即服务(1)
用Kubernetes部署超级账本Fabric的区块链即服务(1) 2017年08月13日 00:00:00 阅读数:937 题图摄于旧金山市区:云海中的 Twin Peaks 不久前,我们发表了如何 ...
- 用Kubernetes部署超级账本Fabric的区块链即服务
关注微信公众号 区块链大本营,学习更多区块链技术及应用知识. 区块链行业投稿,请邮件联系 jiawd@csdn.net 本文将探讨如何把 Fabric v1.0自动化部署在现今最流行的 Kuberne ...
- Hyperledger Fabric学习笔记(四)- fabric单机部署 solo 版
一.前言: 1.底下的配置文件很重要,一配置错了就有问题了,下面附出这篇文章所需要的配置文件,下载链接:https://download.csdn.net/download/u012561176/15 ...
- 在K8s上轻松部署Tungsten Fabric的两种方式
第一种:在AWS的K8s上部署TF 首先介绍下如何在AWS上使用Kubernetes编排的Tungsten Fabric集群部署沙盒,15分钟就可以搞定.Tungsten Fabric集群由部署节点. ...
- Tungsten Fabric知识库丨关于OpenStack、K8s、CentOS安装问题的补充
作者:Tatsuya Naganawa 译者:TF编译组 多kube-master部署 3个Tungsten Fabric控制器节点:m3.xlarge(4 vcpu)-> c3.4xlarge ...
- 浅析Hyperledger Fabric共识算法
链客,专为开发者而生,有问必答! 此文章来自区块链技术社区,未经允许拒绝转载. 区块链系统是一个分布式架构,交易账本信息由各个节点管理,组成一个庞大的分布式账本.在分布式系统中,各个节点收到的交易信息 ...
- K8s, Kafka事件溯源架构模式和用例示例
随着当今快速变化的业务和技术格局,开发人员.数据科学家和IT运营部门正在共同构建具有新技术和动态架构的智能应用程序,因为它们具有灵活性,交付速度和可维护性.本文我将介绍有助于技术架构进化的技术:容器. ...
- Hyperledger Fabric(术语表)
术语表 术语很重要,以便所有Hyperledger Fabric用户和开发人员都同意每个特定术语的含义,例如,什么是智能合约.文档将根据需要引用术语表,但如果你愿意,可以随意阅读整个内容:这很有启发性 ...
最新文章
- pytorch转libtorch,全网最全资料
- R语言入门第六集 实验五:综合应用
- codeforces 712 Memory and De-Evolution
- win8如何卸载mysql5.0_Win8如何卸载Windows的服务?卸载Windows的服务的方法和步骤
- 【LeetCode】整数反转
- response对象的使用
- 设计模式C++实现(5)——桥接模式
- VC2005 C++入门记
- 让input支持 ctrl v上传粘贴图片? 让input支持QQ截图或剪切板中的图像数据(Java实现保存)...
- 一起来学jquery!
- Ubuntu安装摄像头软件GTK_UVC_Viewer
- 日更第1天:Linux常用命令之dnf用法
- 大数据实战第十六课(上)-Spark-Core04
- wireshark蓝牙数据包分析_Wireshark数据包分析
- PV操作与信号灯例子
- 元柚话TK:海外抖音TikTok+独立站如何搭建?
- 关于spoolsv.exe程序问题
- 2013年最忧伤的句子
- 电脑上玩手机游戏,效果秒杀模拟器
- IBM系统分析——架构设计五视图+数据设计
热门文章
- 新浪微博用户密码泄露 经部分用户验证为真
- 联想服务器重装系统只有光标,联想bios重装系统图文教程
- JavaScript实现微信聊天烟花效果
- 【笔记】为什么现代人变得越来越娱乐至死
- 洛谷P2905 [USACO08OPEN]农场危机Crisis on the Farm
- Memcached学习(五)--LRU删除策略
- oracle安装界面空白,在windows 2012中安装oracle 12c R2界面空白挂起无响应CPU达到100%的问题...
- 7-12 清点代码库 (25 分)
- LeetCode 718 最长重复子数组
- 洛谷P1458 [USACO2.1]顺序的分数 Ordered Fractions