压测可能一般都会从技术角度上分读场景和写场景,因为在读和写上两种情况都不一样,举个例子 对于价格请求来说,一般都是后台修改价格后,前台大量的浏览价格,这种明显读场景占比90%以上的业务,对于写的压测是没什么意义的。而对于下单的操作来说大部分都会是写的情况,可能包括接口写 ,数据写等等。所以区分场景的压测对压测复杂度来说会减轻很多,对压测的模型来说又会真实很多,比如,对于读场景我们就可以做线上引流压测,就是把线上的读场景放大倍数导入到同比例的测试环境或者部分生产环境进行压测。这种压测的模型结果真实度很高。

那么以前说起线上读的引流压测大家可能都会考虑到TCPCOPY,今天不想讲TCPCOPY,线上有很多文章介绍,如下架构图:

具体链接如: http://www.open-open.com/lib/view/open1337907254136.html

对于TCPCOPY 个人感觉它的场景太单一,而且搭建起来很复杂,比如如果有的请求是不可以重复提交的这种引流复制就没有意义了吗?,基于这种考虑,我们内部开发了一个引流压测的软件。如下

首先:我们会在Web服务器上的TCP/IP层进行捕获(Capture 包括对对域名,URL的过滤)

其次:Capture会复制一倍流量UDP单播方式发送到CopyServer(复制节点)

再次:复制节点通过UDP组播的方式发送给整个环路节点上的sender(通过交换机组播复制方式)

最后:sender放大流量倍数发送到测试环境或生产环境,(同时支持一些定制开发功能)

整个工具用python开发(对于C语言来说降低定制化难度)(capture经过压测,在TPS5000-8000的时候 会对CPU有些损耗(40%左右))

同时copyserver在解决组播丢包等问题上进行了一些优化。

整个链路上sender是完全可以发布既可用的,同时又支持定制化,如对sendpool节点可以把某个峰值的流量存储,指定时间发送到测试或部分生产环境。

对于这套工具我并不是想说,它会比TCPCOPY有多好,我想说的是,由于对于一些业务来说TCPCOPY已经不好满足我们的需求,同时之前安装TCPCOPY的时候也遇到很多坑,何不研究下原理,做一个合适的轮胎呢。

对于现在的软件环境来说经常听说不要重做轮胎,但是重做轮胎,并不一定意味着没有意义,其实对于任何一个公司来说都一自己独特的业务特点。用开源软件不是不好,但是里面的坑难道你一定会越过吗,这个老轮胎是否真的用的很舒服呢,对于这样还不如研究下轮胎结构,用新的材料新的模式搞个自己的呢。拿来主义并不一定最好。

线上引流压测工具Meteor相关推荐

  1. 稳定性全系列(二)——如何做线上全链路压测

    目录 一.背景介绍 二.准备工作 三.拆分详解 3.1 确定需要哪些团队参与 3.2 确定全压技术方案 3.3 确定全压目标和计划 四.总结 一.背景介绍 如今,在微服务架构盛行的互联网时代,微服务架 ...

  2. 快速搭建小程序,实现线上引流获客

    小程序--已经成为线下商家从线上引流获客的首选渠道. 不说废话,欣赏一下这亮眼的数据: 根据喜茶披露的数据,截至2019年12月31日,喜茶已在43个城市开出390家门店,新增主力店157家.Go店6 ...

  3. 线上引流方法有哪些?怎么做线上引流推广?线上引流推广方法

    如今这个互联网时代,获取流量已经是营销推广的主要问题,流量越多营销的机会自然就多,而推广引流主要分为线上和线下两种,那么线上引流方法有哪些?线上引流该怎么做呢? 1.搜索引擎 比如我们比较常见的百度, ...

  4. 线上引流方法有哪些?怎么做线上引流推广?

    如今这个互联网时代,获取流量已经是营销推广的主要问题,流量越多营销的机会自然就多,而推广引流主要分为线上和线下两种,那么线上引流方法有哪些?线上引流该怎么做呢? 1.搜索引擎 比如我们比较常见的百度, ...

  5. 想做网上线上引流怎么做?如何通过网络获取流量?

    想做网上线上引流怎么做?如何通过网络获取流量? 现在很多人都在问关于"引流"."流量"的问题,对于这些问题实际上背后的道理都是一样的,我们需要了解的是: &qu ...

  6. 健身产品如何线上引流,健身行业如何线上引流?

    越来越受到人们的关注,健身热潮也随之而起,这也就直接促进了健身行业的发展. 如今对健身的需求很大,线上健身流量居高不下.但是,健身行业仍然依靠传统的线下模式和有限的方式来吸引客户.因此,面对健身行业巨 ...

  7. 传统企业线下收益不可观,问答营销是你线上引流的好方法

    互联网+经济的结合越来越明显,利用网络销售产品.利用网络推广产品等等,这一方式在2020年尤其受到重视.传统企业实体收益不可观,全网天下徐国祥建议不妨试试问答营销,会是你线上引流的好方法. 徐国祥先来 ...

  8. 美甲实体行业没有客户?想做线上引流?这些渠道千万别错过!

    如今在我国内,美甲行业正处于稳步上升的一个阶段,随着人们对生活的品质追求越来越高,美甲已经自然而然的融入了大家的生活.走在街上,手上涂着五颜六色的美甲女性随处可见.而美甲店的数量也越来越多,竞争力也越 ...

  9. Gateway杂谈:线上引流和灰度发布

    2019独角兽企业重金招聘Python工程师标准>>> 前言 Gateway目前支持路由,使用路由可以用来实现很多高级功能,比如线上引流和灰度发布. 线上引流 很多时候,开发的小伙伴 ...

最新文章

  1. hdu1443 Joseph(约瑟夫环)
  2. 《python机器学习经典实例》Expected 2D array, got 1D array instead和Reshape your data either using array.问题(已解决)
  3. Android 界面布局之RelativeLayout
  4. aws sqs_JMS和AWS SQS的更多高级内容
  5. 开源干货!.NET Core + Vue.js通用动态权限(RBAC)管理系统框架[DncZeus]开源
  6. 从0到1详解数据挖掘过程
  7. imx6. android6.0经常修改或者用到的目录(未完)
  8. opencv-api findContours
  9. sql server权限_保护SQL Server审核的访问权限
  10. Java 7 最快要到 2012 年中发布
  11. oracle esb 灾备,两地三中心双活系统灾备切换场景和数据补录问题?
  12. java 基础——函数(方法)
  13. 三菱FX3U与三菱变频器 modbus RTU通讯案例 采用485方式,modbus RTU协议。 与变频器通讯,控制启停,频率,加减速时间设定,频率
  14. 2021-2027全球及中国数控钻机行业研究及十四五规划分析报告
  15. 常用向量相似度衡量指标
  16. ImportError: cannot import name ‘_validate_lengths‘ from ‘numpy.lib.arraypad的解决方法(简单粗暴)
  17. 学习嵌入式的书籍推荐,嵌入式编程入门教程学习大纲
  18. char *s[]与char s[][]
  19. 文件缓冲区和inode详解
  20. java根据word模板生成pdf

热门文章

  1. Webpack--模块热替换(HMR)
  2. 6.7 广义特征向量与特征空间
  3. pointnet的部分参考文献 用markmap显示
  4. 如何从request中获取域名
  5. chrome滚动条样式修改
  6. Android系统分区介绍
  7. 网络编程(基于socket接口技术的进程间通信)接上一篇文章补充
  8. Linux内核全版本下载地址
  9. 数字图像处理笔记(一)空间分辨率与灰度分辨率
  10. CrowdHuman数据集转成VOC格式并训练模型