区块链数据服务(Blockchain Data Service,BDS)是京东云区块链产品部发推出的,其将区块链的链式、非结构化数据通过技术手段进行结构化存储,实时同步到高性能数据仓库中。

用户可以通过区块链数据查询工具,实现简单的条件查询和复杂的 SQL 查询,从而助力基于区块链数据的创新企业快速起步。

区块链数据服务具有以下特性:

丰富性

:涵盖了 BTC、ETH、EOS、LTC、XRP、BCH 等几十个知名区块链项目,自定义了涉及用户、交易、区块等 100+ 独家数据指标,联网即可查询链上实时数据,即开即用,方便快捷。

便捷性

:提供了一个交互式的数据可视化 BI 工具,支持通过点击和拖拽的交互方式进行条件查询,可实时生成各类数据报表、图形化界面。

专业性

:支持标准 SQL 查询语句,可轻松实现复杂的查询逻辑。

京东云的 BDS 是

国内首家

提供区块链数据在线分析服务的产品。

产品背景

近两年随着区块链技术的兴起,整个行业可谓是百家争鸣,有诸如 BTC,ETH,XRP 等耳熟能详的公有链项目,也有 Fabric,Enterprise Ethereum Alliance,Corda R3 等众所周知的联盟链项目。

不管是公有链也好,联盟链也罢,其实一个个都是独立的信息孤岛,数据和信息无法在彼此之间流通。

在当今数据为王的互联网时代,如何将这些区块链的数据和信息整合到一起,并能方便的利用当前业界已经相对成熟的数据分析工具来针对区块链数据进行分析和建模,成为了京东云产品部一直在思考的一个问题。

最终,京东云产品部秉承产品设计初衷,推出了区块链数据服务这款产品。

产品架构图

区块链数据

区块链数据

方面,由于大部分的公有链全节点都部署在海外,所以在国内的环境下部署全节点同步数据经常会出现同步失败的情况。京东云区块链产品部依托京东云的强大基础能力,针对每条独立的公链,在海外部署了多个区块链全节点来确保实时同步公链数据。

我们观察发现,目前市值排名前三的虚拟货币分别为 BTC,ETH,XRP,这三者中 BTC 全节点所占的存储空间是最少的,目前其全节点存储空间为 200 GB,而 ETH 全节点的存储空间已经接近 3 TB,全节点存储空间最大的当属 XRP,目前已经接近 10 TB,一般的物理服务器已经无法存储这边大的数据量。

在进行公有链的非结构化数据分析的时候,最初我们采用了公有链全节点自身暴露的接口,通过 RPC 调用查询链上原始数据,这种方式虽然便捷,但是如下问题:

数据时效性:全节点同步到的 block 数据,需要持久化到磁盘上之后,才能通过 RPC 接口获取;

性能损耗:全节点响应 RPC 请求,需要读取磁盘的数据,会有 IO 损耗,同时处理所有的外部请求需要消耗 CPU;

综合考虑之后,我们直接通过修改了公有链全节点源码,在全节点同步到 block 数据的时候,就直接将数据推送给大数据分析平台,从而确保了数据的时效性。

自定义数据

自定义数据

方面,京东云区块链产品部结合了 AI,网络爬虫等技术手段进行了创新,产生了我们独有的基础数据。

由于区块链自身的匿名性特性,其实无法知道区块链上每个地址的真实归属。京东云区块链产品部通过网络爬虫获取互联网上的区块链相关的所有信息,结合链上的交易行为,通过 AI 技术进行数据分析,针对地址进行标注,定位地址的归属情况。

大数据分析平台

大数据分析

方面,基于区块链数据和自定义数据,京东云区块链产品部经过长期的研究、分析、计算,原创了很多有意义的独家数据指标。这些数据指标除了交易金额,交易次数,活跃地址,新增地址等一些基础的指标外,还有地址分类,市值价值比,用户留存等高级的指标。

数据分析不仅有实时的数据分析,也有离线定时执行的数据分析。比如目前进行地址分类的时候,针对每天新增的地址,是需要结合全量历史地址数据的聚类判断,这项数据指标我们目前是采用离线分析方式,每天定时跑数据聚合任务,目前光进行每天新增地址的分类,大概需要耗时 2 ~ 3 个小时;同时可以预见未来随着数据量的增加,数据聚合的耗时也会相应增加。

因此,京东云区块链产品部依托京东云的基础计算能力,通过数据分析集群服务,预先计算了 100+ 个基础和高级数据指标。

举个例子,我们来看看 btc_statistics_day_transaction 的表结构信息

btc_statistics_day_transaction

按天分析交易相关数

字段

类型

定义

id

INT

自增ID

timestamp

INT

时间戳

value_day_consume

DOUBLE

币天销毁

tx_rate

DOUBLE

交易速率

tx_count

INT

交易次数

tx_vin_avg

DOUBLE

交易输入平均值

tx_vout_avg

DOUBLE

交易输出平均值

tx_size_avg

DOUBLE

交易空间大小平均值

tx_value_sum

DOUBLE

交易金额总和

tx_value_avg

DOUBLE

交易金额平均值

tx_fee_avg

DOUBLE

交易手续费

tx_size_fee_avg

DOUBLE

每KB交易手续费

tx_value_without_hot_address

DOUBLE

排除热门地址的交易金额

tx_value_without_long_chain

DOUBLE

排除长链交易的交易金额

block_trade_count

INT

大额交易数量

block_trade_sum

INT

大额交易总金额

address_count_sum

INT

地址总数

address_count_new

INT

新增地址数

active_address_count

INT

活跃地址数

address_vin_vout_avg

DOUBLE

交易地址交易次数平均值

address_tx_value_avg

DOUBLE

交易地址交易金额平均值

active_percent

DOUBLE

地址活跃率

store_rate

DOUBLE

存储率

ratio_of_market_value

DOUBLE

市值价值比

freshness

DOUBLE

新鲜度

dormant_address

INT

休眠地址数

dead_address

INT

死亡地址数

wake_up_address

INT

苏醒地址数

reborn_address

INT

复活地址数

其中其实有不少有意思的数据指标,比如:

复活地址

:表示此地址长期未产生交易,然后今天突然产生交易了;如果当天出现了大量复活地址,其实可以间接说明用户开始活跃了。

地址活跃率

:表示产生交易的地址占总地址数的比例,通过这个指标可以看整体市场的活跃度,此值越高,市场越活跃。

存储率

:表示未交易的虚拟货币占总虚拟货币供应量比例,这个指标体现了虚拟货币在市场上的流通情况,此值越低,虚拟货币的流通率越高。

区块链数据 BI 工具

区块链数据 BI 工具

方面,提供了一个交互式数据可视化 BI 工具,通过简单的点击,拖拽就可以生成你想要的数据报表,同时也支持通过修改数据可视化展现方式,将数据报表转成柱状图、折线图、饼图等各种图形化界面。

数据报表示例:BTC 地址表

如果你有一定的 SQL 基础,也可以自己编写一些复杂的 SQL 命名,实现表与表之间的关联查询,从而更直观的进行数据分析对比。

表关联查询示例:BTC 交易数据表和 BTC 交易输入数据表

针对每个使用者,此工具支持自定义数据面板,可以将查询出来的数据报表、数据图形化界面记录到数据面板中,同时针对数据面板中的数据支持自定义刷新时间,实时更新,这样就可以避免每次想看数据的时候都需要重新进行一次查询。

数据面板示例:JDCloud Example

应用场景

应用场景

方面,因为有了区块链数据,可以基于此数据做各种各样的应用服务,举几个简单的场景:

可以做基于区块链的运营解剖,分析某个公有链的运行情况,基于这些数据,可以进行公有链评级;

可以做交易图谱分析,通过分析链上数据,生成交易图谱,可以分析是否存在通过虚拟货币进行洗钱,非法集资等违法行为;

可以做商业洞察,通过各项数据指标,进行分析对比,进行机器学习,可以预测虚拟货币未来的发展趋势,判断其未来走向。

产品小结

就像京东云提供公有云服务,给所有用户提供最基础的计算、存储、网络服务,京东云区块链产品部一直致力于区块链底层技术的相关研究,针对公有链进行最基础数据提取、分析服务,致力于服务所有基于区块链数据进行创新的企业或个人,大大降低准入门槛。

在未来,我们计划将开源区块链数据服务,从而让更多的开发者可以参数于进来,大家一起来进行公有链的基础数据提取、分析,从而可以接入越来越多的公有链数据,甚至可以接入联盟链的数据、私有链的数据。将区块链数据服务打造成一个区块链的 Google 搜索引擎,所有区块链相关的内容都可以在这里很便捷地查询到。

京东云区块链产品部始终沿袭了京东云 GOOD 文化:

Growth mindset - 成长心态

Obsessed with customer - 拥抱客户

Open source & Open minded - 开源包容

Data driven - 数据驱动

区块链相关数据报表_区块链数据服务 - BDS相关推荐

  1. 区块链相关数据报表_区块链行业数据统计

    区块链是一种可信的数据处理和存储技术,全球以提供区块链技术或服务为主营业务的公司为主.截止2020年1月,全球区块链市场规模达37104亿美元,信息与通信领域占比30.7%,底层技术与基础设施占比25 ...

  2. 区块链相关数据报表_区块链相关论文研读5:分布式隐私保护可审计的账本,zkLedger...

    这篇文章在2018年发表在顶会NSDI上面,题目为<zkLedger: Privacy-Preserving Auditing for Distributed Ledgers>,作者为Ne ...

  3. 深度学习数据自动编码器_如何学习数据科学编码

    深度学习数据自动编码器 意见 (Opinion) When I first wanted to learn programming, I coded along to a 4 hour long Yo ...

  4. excel导入数据校验_使用Excel数据验证限制日期范围

    excel导入数据校验 Yesterday, one of my clients emailed to let me know that she was having trouble entering ...

  5. 区块链相关数据报表_重磅|京东云区块链数据服务(BDS)正式开源

    今天,"区块链+京东云 大有可为"战略合作媒体沟通会在北京国家会议中心召开.会上,京东云与京东数科宣布在区块链技术服务领域深度合作,重磅发布了智臻链"云"建设规 ...

  6. 区块链相关数据报表_一种基于区块链的财务报表系统及其使用方法与流程

    本发明涉及区块链领域,尤其是一种基于区块链的财务报表系统及其使用方法. 背景技术: 随着社会的发展,公司的成立数量越来越多,而公司的财务报表是一个公司的关键资料,这就要求资料数据的绝对安全防止他人的恶 ...

  7. 区块链技术与支付_区块链技术将如何确保在线支付

    区块链技术与支付 Look around at the business climate today and you will find a multitude of fintech startups ...

  8. 区块链系统架构图_区块链模型架构

    一般说来,区块链系统由数据层.网络层.共识层.激励层.合约层和应用层组成. 其中,数据层封装了底层数据区块以及相关的数据加密和时间戳等技术:网络层则包括分布式组网机制.数据传播机制和数据验证机制等:共 ...

  9. 区块链相关技术学习总结——区块链以及区块链技术入门详解

    转载自:http://blog.csdn.net/u012562943/article/details/60779241 区块链是目前一个比较热门的新概念,蕴含了技术与金融两层概念.从技术角度来看,这 ...

最新文章

  1. 自动驾驶真的会来得那么快吗:关于自动驾驶的7个疑问
  2. python运维脚本部署jdk_Jenkins自动执行Python脚本,并输出测试报告
  3. python数据趋势算法_Python数据拟合与广义线性回归算法学习
  4. SQLite异常 qAdmin: Cannot perform this operation on a closed dataset.
  5. matlab校正环节,基于MATLAB的控制系统校正环节优化设计
  6. 寒假每日一题(提高组)【Week 3 完结】
  7. torchvision中Transform的normalize
  8. 360 屏蔽ajax,怎么在easy ui做全局Ajax拦截啊?
  9. 如何使用Picterra的地理空间平台分析卫星图像
  10. 实验人员考评指标_了解实验指标
  11. 名校博士被撤销学位,只因7行文字抄袭及1张互联网图片​……
  12. 腾讯优图发布四大平台产品,持续开放视觉AI能力
  13. BAPI_SALESDOCU_CREATEFROMDATA1--VA01
  14. mysql配置文件my.cnf_MariaDB/MySQL配置文件my.cnf详解
  15. Axis1.x WebService开发指南—目录索引
  16. 进程间通信 IPC interprocess communication
  17. python报错记录No.1
  18. binary 和 varbinary 用法全解
  19. 学计算机逻辑思维能力测试题,逻辑思维题(逻辑思维能力测试20题)
  20. 【微信小程序中的股票分时图、K线图的源代码解析】

热门文章

  1. springboot使用p6spy打印完整SQL
  2. 失眠了听什么歌能睡着觉,让人一听就困的歌推荐
  3. Android 调用百度地图sdk 实现路线规划导航
  4. c语言输入一个字符 对其进行归类,高职升本计算机模拟试卷-09
  5. USB耳麦_从无到有(一)
  6. 欧姆龙CP1H与三菱E740变频器 485通讯
  7. Java剪绳子之数学推导
  8. w ndows只能安装到gpt磁盘,安装win10系统时提示windows只能安装到GPT磁盘如何解决[多图]...
  9. 【win7/win10】虚拟机安装与简单配置教程
  10. 实验十六VLAN,VLANIF通信