EOS 区块链数据实时异构到 MySQL
文/温国兵
这是「区块链技术指北」的第 33 篇文章。
如果对我感兴趣,想和我交流,我的微信号:Wentasy,加我时简单介绍下自己,并注明来自「区块链技术指北」。同时我会把你拉入微信群「区块链技术指北」。BTW,李笑来老师也加入了我的知识星球,文末有加入方式。
题图来自: © ChainONE / Original / chainone.xyz
0x00 背景
早在 6 月 7 日,kesar 在 EOSIO 提交了一个编号为 #3882 的 PR,但直至目前仍处于未合并状态。团队做一些开发需要取 EOS 链上数据,但无法直接从 EOS 区块链中获取。#3882 提供 EOS 链上数据导入 MySQL,可以很方便的读取历史数据。但问题来了,该 PR 未合并,EOSIO 也没有一个 sql_db_plugin 相关的 branch 或 tag,所以无法使用 git 自动合并。
0x01 解决
SuperONE 团队将 #3882 提交的内容打包,提交了个一个 repo,链接如下:
https://github.com/superoneio/eos_sql_db_plugin
接下来本文将讲解如何将 EOS 链上数据异构到 MySQL。
0x02 部署
部署的思路如下:
- 安装 MySQL 以及 client 库
- 安装 soci
- 修改 eos CMakeLists.txt
- 编译支持 sql_db_plugin 的 nodeos
- 创建数据库,分配用户名
- 导入 eos 表结构
- 启动 nodeos,同步主网数据
- 查看 MySQL,确认数据
接下来我们逐步讲解。
如果使用 Ubuntu,安装 MySQL 可以快速使用 apt-get 安装,笔者建议使用源码编译。
如果使用源码编译,mysql-client 相关库已经存在。如果使用 apt-get 或者 yum 安装 mysql-sever,需要执行如下命令安装 mysql-client,命令如下:
$ apt-get -y install mysql-client
复制代码
接下来我们安装 soci。soci 是 C++ 连接 MySQL 的 Library。Ubuntu 可以快速安装,命令如下:
$ apt-get -y install libsoci-dev
复制代码
当然,我们还可以源码编译,步骤如下:[1]
$ git clone clone https://github.com/SOCI/soci.git
$ cd soci && mkdir build && cd build
$ cmake -DWITH_BOOST=ON -WITH_MYSQL=ON -MYSQL_INCLUDE_DIR=/usr/local/mysql/include -MYSQL_LIBRARIES=/usr/local/mysql/lib/libmysqlclient.a /data/tmp/robin/soci
$ make
$ make install
复制代码
当然 -MYSQL_INCLUDE_DIR
和 -MYSQL_LIBRARIES
根据实际路径更改。[2]
接下来我们需要 clone eos 代码,命令如下:
$ cd /data
$ git clone https://github.com/EOSIO/eos --recursive
$ cd /data/eos
# 如果不想用 master 分支代码,可以使用 git checkout v1.0.8 使用其他分支
$ git submodule update –init –recursive
复制代码
然后更改 CMakeLists.txt,总共有两个 CMakeLists.txt 需要更改。
- eos/plugins/CMakeLists.txt
- eos/programs/nodeos/CMakeLists.txt
在 eos/plugins/CMakeLists.txt 添加如下行:
add_subdirectory(sql_db_plugin)
在 eos/programs/nodeos/CMakeLists.txt 添加如下内容:
// 如果以下内容已经取消注释,可以忽略。
if(TARGET sql_db_plugin)target_link_libraries( nodeos PRIVATE -Wl,${whole_archive_flag} sql_db_plugin -Wl,${no_whole_archive_flag} )endif()
复制代码
接着将 SuperONE 团队合并的 sql_db_plugin
合并到 EOS 代码中。
$ cd /data
$ git clone https://github.com/superoneio/eos_sql_db_plugin
\cp -rv /data/eos_sql_db_plugin/sql_db_plugin/* /data/eos/plugins/sql_db_plugin
复制代码
接下来编译支持 sql_db_plugin
的 nodeos。
$ cd /data/eos
$ ./eosio_build.sh
复制代码
待 nodeos 编译完成之后,我们执行如下命令确认是否编译成功。
$ /data/eos/build/programs/nodeos/nodeos --help | grep "sql_db-uri"
复制代码
如果输出如下内容,证明编译成功。
--sql_db-uri arg Sql DB URI connection string If not
接下来在 MySQL 里创建数据库以及分配账号,SQL 如下:
CREATE DATABASE eos DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
GRANT ALL PRIVILEGES ON eos.* TO app_eos@'%' IDENTIFIED BY 'YOURPASS';
GRANT ALL PRIVILEGES ON eos.* TO app_eos@'127.0.0.1' IDENTIFIED BY 'YOURPASS';
复制代码
然后我们导入 EOS 数据库表结构,如不想手动导入,可以在启动 nodeos 的时候添加 sql_db-block-start=0
参数,该参数为 0 时会在数据库中创建表。表结构可以在点击 此处 下载。
接着我们启动 nodeos,主网 fullnode 相关的配置文件可以访问如下链接下载:
https://github.com/superoneio/eos-mainnet
启动 fullnode 相关命令如下:
$ mkdir /data/mainnet
$ cd /data/mainnet
$ git clone https://github.com/superoneio/eos-mainnet
$ mkdir -p data logs config
$ cp eos-mainnet/config.ini mainnet/config
$ cp eos-mainnet/genesis.json mainnet
$ cp eos-mainnet/*.sh mainnet
$ chmod +x mainnet
复制代码
修改 config.ini 相关配置以及 start.sh 脚本,sql_db-uri 格式如下:
sql_db-uri="mysql://db=YOURDB user=YOURUSER host=127.0.0.1 password='YOURPASS'
sql_db-uri 参数中的 YOURUSER 表示连接 EOS 区块链数据库的用户名,YOURPASS 表示连接 EOS 区块链数据库的用户密码,YOURDB 表示 EOS 区块链数据库名字。
需要注意的是 sql_db-uri 暂时不能写入 config.ini 配置文件,否则将会遇到 Failed to find shared library for backend "mysql
错误。另外,笔者的操作系统是 Ubuntu 16.04.4 LTS。
最后执行 start.sh,登录 MySQL 数据库就可以查看到相关数据。
[root@localhost][(none)]> USE eos
Database changed
[root@localhost][eos]> SHOW TABLES;
+------------------+
| Tables_in_eos |
+------------------+
| accounts |
| accounts_keys |
| actions |
| actions_accounts |
| blocks |
| stakes |
| tokens |
| transactions |
| votes |
+------------------+
9 rows in set (0.02 sec)
[root@localhost][eos]> SELECT * FROM tokens LIMIT 1 \G
*************************** 1. row ***************************
account: eosiosymbol: EOSamount: 995314228.4771
1 row in set (0.00 sec)
复制代码
0x03 小结
目前 #3882 暂未合并,具体原因未从得知。EOS 链上数据和传统的关系型数据库结合,将会大大降低开发者成本。待 #3882 merge 之后,读者将会更便利的使用到这个功能。
0x04 参考
- [1] SOCI (2018-07-06). SOCI Installation. Retrieved from soci.sourceforge.net/doc/master/….
- [2] 太上绝情 (2016-07-14). soci-mysq 编译. Retrieved from blog.csdn.net/bjrxyz/arti….
「区块链技术指北」同名 知识星球,二维码如下,欢迎加入。BTW,李笑来老师也加入了。
「区块链技术指北」相关资讯渠道:
- 「区块链技术指北」同名知识星球,t.xiaomiquan.com/ZRbmaU3
- 官方社区,bcage.one
- Telegram Channel,t.me/BlockchainA…
- Telegram Group,t.me/bcage
- Twitter,twitter.com/bcageone
- 新浪微博,weibo.com/BlockchainA…
同时,本系列文章会在以下渠道同步更新,欢迎关注:
- 「区块链技术指北」同名微信公众号(微信号:BlockchainAge)
- 个人博客,dbarobin.com
- 知乎,zhuanlan.zhihu.com/robinwen
- Steemit,steemit.com/@robinwen
- Medium,medium.com/@robinwan
- 掘金,robinwen@juejin.im
- 币乎,bihu.com/people/1210…
原创不易,读者可以通过如下途径打赏,虚拟货币、美元、法币均支持。
- BTC: 3QboL2k5HfKjKDrEYtQAKubWCjx9CX7i8f
- ERC20 Token: 0x8907B2ed72A1E2D283c04613536Fac4270C9F0b3
- PayPal: www.paypal.me/robinwen
- 微信打赏二维码
–EOF–
版权声明:自由转载-非商用-非衍生-保持署名(创意共享4.0许可证)
EOS 区块链数据实时异构到 MySQL相关推荐
- 区块链数据服务 - BDS
区块链数据服务(Blockchain Data Service,BDS)是京东云区块链产品部发推出的,其将区块链的链式.非结构化数据通过技术手段进行结构化存储,实时同步到高性能数据仓库中. 用户可以通 ...
- 业内首发 | 区块链数据服务 - BDS
区块链数据服务(Blockchain Data Service,BDS)是京东云区块链产品部发推出的,其将区块链的链式.非结构化数据通过技术手段进行结构化存储,实时同步到高性能数据仓库中. 用户可以通 ...
- EOS区块链DApp去中心化应用汇总
EOS最近一直在区块链新闻中.它的主干网(公有链)发布了,人们仍然对它们持怀疑态度.在101Blockchain.com网站上,我们知道会有紧张的投资者.怀疑的分析家和像你一样好奇的读者.这就是为什么 ...
- 区块链相关数据报表_区块链数据服务 - BDS
区块链数据服务(Blockchain Data Service,BDS)是京东云区块链产品部发推出的,其将区块链的链式.非结构化数据通过技术手段进行结构化存储,实时同步到高性能数据仓库中. 用户可以通 ...
- EOS区块链一周要闻回顾(2.17-2.23)
EOS 账户数 截至 2 月 23 日晚,EOS 账户数为 1,741,474 个,EOSIO 挑战赛报名人数 386 人. BM:追求言论自由,热爱不同而非强求遵从 BM 在推特上就文明社会话题发表 ...
- 理解eos区块链的eosio.token合约
2019独角兽企业重金招聘Python工程师标准>>> 我必须承认,学习eosio一直没有闲庭信步的感觉,我可以看到为什么很多人说它有一个陡峭的学习曲线.随着eosio软件继续经历大 ...
- 【刘文彬】 Controller:EOS区块链核心控制器
原文链接:醒者呆的博客园,www.cnblogs.com/Evsward/p/c- Controller是EOS区块链的核心控制器,其功能丰富.责任重大. 关键字:EOS,区块链,controller ...
- EOS区块链技术开发(二)智能合约
强烈建议直接去看EOSIO官网上的教程:https://developers.eos.io/ 不要看我的??博文了,以下博文就是我当时随便写写的,现在也没有什么时间详细修改.如果有问题可以提问. 注: ...
- EOS区块链技术开发(一)环境搭建
强烈建议直接去看EOSIO官网上的教程:https://developers.eos.io/ 不要看我的??博文了,以下博文就是我当时随便写写的,现在也没有什么时间详细修改.如果有问题可以提问. 注: ...
最新文章
- .Net 下载网络图片
- intellij中导入外部的依赖包+在当前的工程中使用
- 六招教你快速提升网站交互体验,降低跳出率
- 【Elasticsearch】语言处理系列之打字或拼写错误 模糊匹配 字段纠错 Fuzzy multi_match
- 智慧城市纳入北京重点支持高新领域
- 蓝桥杯 ALGO-25 算法训练 Car的旅行路线
- calendar控件使用 extjs_extjs年月选择日历及通用js同步ajax调用返回json object
- CS 635: Advanced Systems Programming
- DRF的@action装饰器
- Scapy 中文文档:三、使用方法
- Web测试需要注意的点
- Endnote_X9安装及使用教程
- Excel 透视表 - 人生第二个透视表
- 由于磁盘坏道导致的系统卡顿令我抓狂
- java实现高德地图app_入门指南-高德地图手机版 | 高德地图API
- 股票作手操盘术-勘误
- java 匿名类_浅谈Java的匿名类
- DNS服务之智能DNS
- 维度表,实体表,事实表之间的关系
- 执行sql报错,错误代码是 1064 ,其实是这个问题。
热门文章
- 小程序web-view嵌套H5对AR特效canvas用MediaRecorder录屏踩坑记录
- 《网络是怎样连接的》一书读后感
- c语言强制转换例子,关于强制类型转换(c语言)(示例代码)
- 漫谈技术—— 六年工作感悟
- mysql create definer_mysql stored routine (存储例程) 中 definer 的作用 和实例
- php 判断提交表单提交,php判断form表单是否提交详解
- NS3虚拟仿真-NetAnim打开仿真界面
- 谈中国软件研发的团队精神
- 小米MIUI11.0.5无法安装chrome,
- [CTF]GUET梦极光杯线下赛web部分WP