开源区块链系统 AElf 性能测试系列文章

开源区块链系统 AElf 性能测试系列文章 AElf vs ETH - 01

1.测试用例及代码库
2.机器配置
3.测试结果
- 3.1 EVM
- 3.2 AElf
- - 3.2.1 LoopDivAdd10M
  - 3.2.2 LoopExpNop1M

近期对标以太坊做了一系列针对测试，在此次测试过程中，我们发现在同一机型上，运行同样的测试用例，AElf的合约执行效率远高于以太坊的EVM的合约执行效率。

以太坊的合约执行效率低，一方面因为虚拟机机制和gas费规则带来的一定开销导致效率降低，另一方面因为EVM的256位设计导致合约执行效率更低。

而AElf在合约执行层面：基于Protobuf实现了一个类grpc的智能合约执行环境，并且没有多余设计，合约执行效率自然远高于以太坊的合约执行效率。具体的实现大家可以去github上围观。

1.测试用例及代码库

以下是对标以太坊 loop-divadd-10M.json 和 loop-exp-nop-1M.json的测试情况。

ETH: 基于官网go实现版本 https://github.com/ethereum/go-ethereum
AElf: 基于官方C#实现版本 https://github.com/AElfProject/AElf

测试用例, 对标ETH的标准测试 https://github.com/ethereum/tests/tree/develop/src/VMTestsFiller
对应AElf 测试程序：https://github.com/AElfProject/AElf/blob/dev/bench/AElf.Benchmark

2.机器配置

机器型号
OS=ubuntu 16.04
QEMU Virtual CPU, 2 CPU, 2 logical and 2 physical corescpu MHz  : 2194.916; cache size : 16384 KBAElf 相关环境BenchmarkDotNet=v0.11.5
.NET Core SDK=2.2.203[Host] : .NET Core 2.2.4 (CoreCLR 4.6.27521.02, CoreFX 4.6.27521.01), 64bit RyuJIT DEBUG

3.测试结果

LoopDivAdd10M：EVM耗时为AElf的 169倍, 差两个数量级

LoopExpNop1M: EVM耗时为AElf的 1223倍，差三个数量级

3.1 EVM

官方go实现版本的自带测试程序执行结果

LoopDivAdd10M：14.236813572s

LoopExpNop1M: 639.16568ms

3.2 AElf

LoopDivAdd10M：84.01ms
LoopExpNop1M: 522.5us

3.2.1 LoopDivAdd10M

除法加法循环一千万次

方法

public override DoubleValue LoopDivAdd(DivAddTestInput input)
{var r = input.X;for (uint i = 0; i < input.N; i++) {r /= input.Y;r += input.K;}return new DoubleValue {Value = r};
}

输入

new DivAddTestInput()
{X = 100,Y = 300,K = 500,N = 10000000
}

执行结果

3.2.2 LoopExpNop1M

方法

public override Int32Value LoopExpNop(PerformanceTesteInput input)
{for (uint i = 0; i < input.N; i++){}return new Int32Value {Value = input.Seed};
}

输入

new PerformanceTesteInput()
{Exponent = 0,Seed = _executeResult,N = 1000000
}

执行结果

刚拿到500us这个数据，我们也是很诧异的，毕竟之前有个版本跑这个测试程序花了5ms。

我们以为是因为这次release的时候，把这段空循环代码给优化掉了。但是反编译后发现对应逻辑还在，数据没有问题。