【Go】优雅的读取http请求或响应的数据-续
原文链接:https://blog.thinkeridea.com/201902/go/you_ya_de_du_qu_http_qing_qiu_huo_xiang_ying_de_shu_ju_2.html
之前发布 【Go】优雅的读取http请求或响应的数据 文章,网友 “wxe” 咨询:“优化前后的请求耗时变化有多大”,之前只分析了内存分配,这篇文章用单元测试的方式分析优化前后的耗时情况,本文源码。
非常感谢 “wxe” 网友的提问,让我在测试过程中发现一个 json
序列化的问题。
之前我们优化了两个部分,json
与 ioutil.ReadAll
, 先对比 ioutil.ReadAll
, 这里测试的代码分成两个部分做对比,一部分单纯对比 ioutil.ReadAll
和 io.Copy
+ sync.Pool
,另一部分增加 jsoniter.Unmarshal
来延迟 pool.Put(buffer)
的执行, 源码。
package iouitl_readallimport ("bytes""io""io/ioutil""sync"jsoniter "github.com/json-iterator/go"
)var pool = sync.Pool{New: func() interface{} {return bytes.NewBuffer(make([]byte, 4096))},
}func IoCopyAndJson(r io.Reader) error {buffer := pool.Get().(*bytes.Buffer)buffer.Reset()defer pool.Put(buffer)res := Do(r)_, err := io.Copy(buffer, res)if err != nil {return err}m := map[string]string{}err = jsoniter.Unmarshal(buffer.Bytes(), &m)return err
}func IouitlReadAllAndJson(r io.Reader) error {res := Do(r)data, err := ioutil.ReadAll(res)if err != nil {return err}m := map[string]string{}err = jsoniter.Unmarshal(data, &m)return err
}func IoCopy(r io.Reader) error {buffer := pool.Get().(*bytes.Buffer)buffer.Reset()defer pool.Put(buffer)res := Do(r)_, err := io.Copy(buffer, res)if err != nil {return err}return err
}func IouitlReadAll(r io.Reader) error {res := Do(r)data, err := ioutil.ReadAll(res)if err != nil {return err}_ = datareturn err
}
测试代码如下源码:
package iouitl_readallimport ("bytes""testing"
)var data = bytes.Repeat([]byte("ABCD"), 1000)func BenchmarkIouitlReadAll(b *testing.B) {b.RunParallel(func(pb *testing.PB) {for pb.Next() {err := IouitlReadAll(bytes.NewReader(data))if err != nil {b.Error(err.Error())}}})
}func BenchmarkIoCopy(b *testing.B) {b.RunParallel(func(pb *testing.PB) {for pb.Next() {err := IoCopy(bytes.NewReader(data))if err != nil {b.Error(err.Error())}}})
}func BenchmarkIouitlReadAllAndJson(b *testing.B) {b.RunParallel(func(pb *testing.PB) {for pb.Next() {err := IouitlReadAllAndJson(bytes.NewReader(data))if err != nil {b.Error(err.Error())}}})
}func BenchmarkIoCopyAndJson(b *testing.B) {b.RunParallel(func(pb *testing.PB) {for pb.Next() {err := IoCopyAndJson(bytes.NewReader(data))if err != nil {b.Error(err.Error())}}})
}
测试结果如下:
goos: darwin
goarch: amd64
pkg: github.com/thinkeridea/example/iouitl_readall
BenchmarkIouitlReadAll-8 500000 2752 ns/op 14496 B/op 6 allocs/op
BenchmarkIoCopy-8 20000000 65.2 ns/op 48 B/op 1 allocs/op
BenchmarkIouitlReadAllAndJson-8 100000 20022 ns/op 46542 B/op 616 allocs/op
BenchmarkIoCopyAndJson-8 100000 17615 ns/op 32102 B/op 611 allocs/op
结论:
可以发现 IoCopy
方法是 IouitlReadAll
方法效率的 40 倍,内存分配也很少,而 IoCopyAndJson
和 IouitlReadAllAndJson
的效率差异极小仅有 2407ns
,大约是 1.13倍,不过内存分配还是少了很多的,为什么会这样呢,这就是 sync.Pool
的导致的,sync.Pool
每次获取使用时间越短,命中率就越高,就可以减少创建新的缓存,这样效率就会大大提高,而 jsoniter.Unmarshal
很耗时,就导致 sync.Pool
的命中率降低了,所以性能下降极其明显.
使用 io.Copy
+ sync.Pool
表面上执行效率不会有很大提升,但是会大幅度减少内存分配,从而可以减少 GC
的负担,在单元测试中我们并没有考虑 GC
的问题,而 GC
能带来的性能提升会更有优势。
在看一下 json
使用 sync.Pool
的效果吧 源码
package iouitl_readallimport ("bytes""encoding/json"jsoniter "github.com/json-iterator/go"
)func Json(r map[string]string) error {data, err := json.Marshal(r)if err != nil {return err}_ = datareturn nil
}func JsonPool(r map[string]string) error {buffer := pool.Get().(*bytes.Buffer)buffer.Reset()defer pool.Put(buffer)e := json.NewEncoder(buffer)err := e.Encode(r)if err != nil {return err}return nil
}func JsonIter(r map[string]string) error {data, err := jsoniter.Marshal(r)if err != nil {return err}_ = datareturn nil
}func JsonIterPool(r map[string]string) error {buffer := pool.Get().(*bytes.Buffer)buffer.Reset()defer pool.Put(buffer)e := jsoniter.NewEncoder(buffer)err := e.Encode(r)if err != nil {return err}return nil
}
性能测试代码源码:
package iouitl_readallimport ("strconv""strings""testing"
)var request map[string]stringfunc init() {request = make(map[string]string, 100)for i := 0; i < 100; i++ {request["X"+strconv.Itoa(i)] = strings.Repeat("A", i/2)}
}
func BenchmarkJson(b *testing.B) {b.RunParallel(func(pb *testing.PB) {for pb.Next() {err := Json(request)if err != nil {b.Error(err.Error())}}})
}func BenchmarkJsonIter(b *testing.B) {b.RunParallel(func(pb *testing.PB) {for pb.Next() {err := JsonIter(request)if err != nil {b.Error(err.Error())}}})
}func BenchmarkJsonPool(b *testing.B) {b.RunParallel(func(pb *testing.PB) {for pb.Next() {err := JsonPool(request)if err != nil {b.Error(err.Error())}}})
}func BenchmarkJsonIterPool(b *testing.B) {b.RunParallel(func(pb *testing.PB) {for pb.Next() {err := JsonIterPool(request)if err != nil {b.Error(err.Error())}}})
}
测试结果如下:
goos: darwin
goarch: amd64
pkg: github.com/thinkeridea/example/iouitl_readall
BenchmarkJson-8 100000 13297 ns/op 13669 B/op 207 allocs/op
BenchmarkJsonPool-8 100000 13310 ns/op 10218 B/op 206 allocs/op
BenchmarkJsonIter-8 500000 2948 ns/op 3594 B/op 4 allocs/op
BenchmarkJsonIterPool-8 200000 6126 ns/op 6040 B/op 144 allocs/op
PASS
ok github.com/thinkeridea/example/iouitl_readall 12.716s
这里使用了两个 json
包, 一个是标准库的,一个是 jsoniter
(也是社区反馈效率最高的),对比两个包使用 sync.Pool
和不使用之间的差异,发现标准库 json
包使用后内存有少量减少,但是运行效率稍微下降了,差异不是很大,jsoniter
包差异之所谓非常明显,发现使用 sync.Pool
之后不仅内存分配更多了,执行效率也大幅度下降,差了将近3倍有余。
是不是很奔溃,这是啥情况 jsoniter
本身就使用了 sync.Pool
作缓冲,我们使用 jsoniter.NewEncoder(buffer)
创建一个序列化实例,但是其内部并没有直接使用 io.Writer
而是先使用缓冲序列化数据,之后写入 io.Writer
, 具体代码如下:
// Flush writes any buffered data to the underlying io.Writer.
func (stream *Stream) Flush() error {if stream.out == nil {return nil}if stream.Error != nil {return stream.Error}n, err := stream.out.Write(stream.buf)if err != nil {if stream.Error == nil {stream.Error = err}return err}stream.buf = stream.buf[n:]return nil
}
这样一来我们使用 buffer
做 json
序列化优化效果就大打折扣,甚至适得其反了。
再次感谢 “wxe” 网友的提问,这里没有使用实际的应用场景做性能测试,主要发现在性能测试中使用 http
服务会导致 connect: can't assign requested address
问题,所以测试用使用了函数模拟,如果有朋友有更好的测试方法欢迎一起交流。
转载:
本文作者: 戚银(thinkeridea)
本文链接: https://blog.thinkeridea.com/201902/go/you_ya_de_du_qu_http_qing_qiu_huo_xiang_ying_de_shu_ju_2.html
版权声明: 本博客所有文章除特别声明外,均采用 CC BY 4.0 CN协议 许可协议。转载请注明出处!
转载于:https://www.cnblogs.com/thinkeridea/p/10347026.html
【Go】优雅的读取http请求或响应的数据-续相关推荐
- 优雅地记录http请求和响应的数据
点击关注公众号,Java干货及时送达 来源:https://fredal.xin/http-body-recorder 经常会遇到需要处理 http 请求以及响应 body 的场景. 而这里比较大的一 ...
- jmter生成的报告没有显示请求和响应明细数据
第一次把环境全部搭建好后运行得出的html报告如下:没有显示Request和Response数据,这样不利于定位问题 估计是jmeter为了减轻客户机负担,就没又默认把这些信息保存,如果想要保存,也可 ...
- http协议,http状态码,请求,响应
http 简介 http 是一种超文本传输协议(Hyper Text Transfer Protocol), 可以用来在络中把服务器消息传输到我们的浏览器中.并且Http 协议是一个基于 TCP/IP ...
- HTTP协议(5)HTTP请求和响应
之前曾介绍过,所有的HTTP通信都被构造成一对HTTP请求和HTTP响应,HTTP协议的请求与响应报文都是由"首部header"和"主体body"两部分组成的. ...
- java 响应 请求参数_spring基础----请求与响应的参数(一)
这里面我们主要介绍一下spring中关于请求和响应参数数据的问题.爱,从来就是一件千回百转的事.不曾被离弃,不曾受伤害,怎懂得爱人?爱,原来是一种经历. spring中的请求与响应 一.spring中 ...
- SpringMVC学习----请求与响应
请求与响应 请求映射路径 提出问题 解决方法 细分请求路径 UserController类 BookController类 在类上方配置的请求映射 请求 请求方式 请求方法 GET请求 传入参数结果 ...
- Android中使用logger打印完整的okhttp网络请求和响应的所有相关信息(请求行、请求头、请求体、响应行、响应行、响应头、响应体)
如果你的项目中的网络请求库是Retrofit的话,他的底层封装的是OkHttp,通常调试网络接口时都会将网络请求和响应相关数据通过日志的形式打印出来.OkHttp也提供了一个网络拦截器okhttp-l ...
- HTTP/HTTPS的请求和响应
HTTP和HTTPS HTTP协议(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收 HTML页面的方法. HTTPS(Hypertext Transfer ...
- NETGEAR拒绝连接请求_3分钟理解HTTP的请求与响应
HTTP和HTTPS HTTP协议(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收 HTML页面的方法. HTTPS(Hypertext Transfer ...
最新文章
- 043_集合重要知识点
- Bridge 、 Adapter 和 Facade 的区别
- canvas基础-绘制矩形(1)
- 工作288:根据时间戳处理接口
- Apache Flink,流计算?不仅仅是流计算!
- 图像sobel梯度详细计算过程_视频处理之Sobel【附源码】
- Javascript前端加载等待圆型圈提示实现效果
- 安装mysql需要配置什么软件_软件配置篇-MySQL下载及安装
- 大数据-05-Spark之读写HBase数据
- matlab热度图确定色标_MATLAB 颜色图函数(imagesc/scatter/polarPcolor/pcolor)
- 交互设计的职能:交互设计师具体做什么
- 2021个人年度总结-追寻
- 四级英语高分必备完形填空2篇翻译
- 【PAT甲级】1087 All Roads Lead to Rome 条条大路通罗马
- 上半年晋升 P8 成功,还买了别墅!
- 低碳生活进行时!国产“芯”RK3568创造智慧出行新体验
- 小猫咪能有什么坏心思呢?只是想要你带它回家啦~
- Linux设备模型分析之kobject(基于3.10.1内核)
- ImageJ自动细胞计数的方法以及批量处理多张图片
- Android Studio统一依赖管理Composing builds
热门文章
- python中的数据成员有两类_Python类和对象
- python引入redis_实操演练解读非关系型数据库—Redis
- 2020-09-02 微机原理与接口课程复习题
- python 其他语言_谈谈Python和其他语言的区别
- 牛客网 正则表达式匹配
- 单纯型法Ⅱ(bzoj 1061: [Noi2008]志愿者招募)
- [Python+sklearn] 拆分数据集为训练和测试子集 sklearn.model_selection.train_test_split()
- 文档协作编辑 ONLYOFFICE 部署和使用教程
- 简单演示matlab生成三维平面的命令mesh
- matlab简单分析数字滤波器FIR