欢迎关注个人博客喜欢二福的沧月君的个人博客 所读文章均来自www.infoq.cn

    揭秘科大飞广告平台架构演进路,仉乾隆,阅读数,,广告电商游戏互联网变现手段电商卖东西部分本质广告,。
科大飞ai公司拥有开发者海量数据,利用自身ai实力大数据能力科大飞广告业务实现交易量业务架构演进,遇到问题,架构子系统设计,。
tgo鲲鹏会武汉分会活动现场来自科大飞数字广告事业部技术负责人仉乾隆带来交易量广告竞价平台架构演进路主题分享看看科大飞技术实力赋能营销升级,说当前系统现状系统平台分为入口出口入口pv竞价次数会话ms日志数量tb,上图业务模型广告交易平台,广告交易平台核心交易肯定买卖卖流量流量媒体广告主买,。
目前广告投广告找dsp广告交易平台找到媒体,广告交易平台核心服务流量交易广告监测,广告尝试ai相关算法希望广告做效果依赖数据服务算法服务,接下来架构时程序员产品服务数据做精简,。
业务量增长出现问题无法满足可用,无法满足吞吐,无法满足高性能,运维成本,。
运营效率,当前新架构框架没有变化分为部分流量网关服务集群dsp,流量网关具备限流能力相当于保险丝保护系统具备流量统计分流故障隔离功能,容器集群分为测试联调生产集群,。
业务日志全部进入统计计算引擎数据会辅助做运营决策做监测系统apm负责监控,没有防火墙业务增长确保安全上线并发性防火墙,说流量网关设计,做流量网关,。
存在系统需要流量系统对接麻烦人力成本消耗,流量对接竞价耦合流量接入迭代上线动静做拆分流量网关独立出来,上图限流系统可视化解释检测服务端流量进来计算限流力度力度决定请求继续回退,限流力度权重依赖于服务状态服务状态指标进行衡量服务处理时间网络传输时间节点机器物理资源使用量,。
建立数学模型看到效果想限压到值,反作弊系统系统核心保障流量作弊没法规避加处理会话时间肯定上去,保证实时性反作弊流程进行分拆分为离线部分处理流程化,反作弊处理耗时压缩ms,。
过滤现在做到识别流量,反作弊系统核心遵循原则离线协同机器人工协同,ai算法部分人类智慧总结规则数据过滤得到数据历史数据进行合并训练模型加上人工分析形成策略模型训练加进去生成模型模型会反馈系统,alankay说话面向对象核心消息传递,。
设计持续增长系统应该关注子系统交互考虑系统具备属性,actor模型意义实现alan所讲面向对象概念,交易过程涉及逻辑做阻塞处理环节采用阻塞模式耗时模拟cpu超流水线重构业务处理流程效果提升任务并发提高吞吐,目前对接dsp宽带费用会话时间成本人工运营成本增加情况实现智能qps调节模块,。
说缓存系统设计做东西需求满足需求没有做优化当时量满足,业务量增加架构依赖db限制服务水平扩展配置生效实时性增量无法感知物理删除服务gc压力发生故障问题,背景做架构设计缓存系统,架构缓存系统可用易于服务水平扩展架构binlog支持物理删除,。
再有全量增量分工协作实时性策略生效数据剔除精准消除数据拉取gc,日志系统设计改进服务flume客户端做了解当前系统处理tb日志量报表秒级离线报表做多维度全景观察服务日志系统解耦可用日志查询辅助问题定位,现在apm系统实现saaspaasiaas监控状态可视化组合数据秒级感知链路追踪启发优化,搞告警网关,。
短信邮件邮件看告警依赖于短信出现短信延迟小时情况微信做备份告警网关,年初引进kubernetesdocker实现全部服务容器化,master集群服务上百服务机器集群master挂集群瘫,采用分布独立机柜独立子网机器构成master集群确保集群高可用,。
一键滚动升级回滚集群支持定向弹性扩缩租户隔离粒度资源配置管理透明服务注册服务发现,说务虚认为东西,做到系统可用平台可用技术保障涉及非技术东西,事情需要参与不可避免出现协作问题过程需要规范制度保障,。
代码提交codereviewcodereview过程中会版本,设有月度bugreview月底研发测试会起来审视当月测试过程发现bugsbugs分级分类看人犯有没有共性改善个人挂钩防止再犯鼓励大家测试做好,采用jira做需求流程管理做定制确保产出交付可追溯,需求提出产品设计方案研发编码发版测试人员进行测试运维上线反馈产品流程全部交付可验证要留档,。
做相应复盘检查和改进,价值跟踪流程管理重要一环,全部需求做价值跟踪,需求分效益需求上线提升效益效率需求上线节省时间,。
再进一步反馈流程管理需求提出,tddtdd执行耗时养成习惯有益于源头做好方案设计,需要具备风险意识上线产生价值全部代码会影响营收要求人相应风险意识,devops开发运维开发运营要求研发人员往前走走需求方看代码满足满足程度回过头看做东西价值做,。
整体业务帮助,技术管理干货没看过瘾,没关系极客科技旗下tgo鲲鹏会gtlc全球技术领导力峰会上海举行精心策划技术思维战略管理视野领导力六大专场邀请行业话语权咖加入讲师天团阵营体系化洞见分享帮助技术成为全能型技术人,tgo鲲鹏会客邦科技旗下高端技术人聚集交流组织旨在组建全球具影响力科技领导者社交网络线上线相结合会员提供专享服务,。
目前tgo鲲鹏会北京上海杭州广州深圳成都硅谷台湾南京厦门武汉苏州城市设立分会,现在全球拥有在册会员cto技术vp技术合伙人,会员覆盖batj互联网巨头公司技术领导者王坚博士同程艺龙技术委员会海龙苏宁易购总部执行副总裁乔新亮受邀成为tgo鲲鹏会荣誉导师,