go应用程序写kafka阻塞（大坑）

由于是大数据，打日志相对麻烦，使用玄坤大法，选点打日志，才把这个bug纠出来。

使用库：sarama

addrs := strings.Split(config.Kafka.RealBroker, ",")
kafkaConfig := sarama.NewConfig()
kafkaConfig.Producer.Timeout = 3
kafkaConfig.Producer.Return.Errors = false //设置成false，防止失败过多，没有消费导致阻塞，而且不是必现，极难排查
kafkaConfig.Producer.Return.Successes = false
kafkaConfig.Producer.MaxMessageBytes = 50 * 1024 * 1024
producer, err := sarama.NewAsyncProducer(addrs, kafkaConfig)
if err != nil {log.Println("new async producer err: ", err)_,file,line,_ := runtime.Caller(0)dingding.PushMessage(fmt.Sprintf("new async producer err:%v file:%s line:%d",err,file,line))return err
}
conn.KafkaProducer = producer

如果kafkaConfig.Producer.Return.Errors和kafkaConfig.Producer.Return.Successes设置为true，则一定要有相应的消费channel的代码，否则可能发生消息阻塞。

go应用程序写kafka阻塞（大坑）相关推荐

Java程序创建Kafka Topic，以及数据生产消费，常用的命令
转自: Java程序创建Kafka Topic,以及数据生产消费,常用的命令_Zyy_z_的博客-CSDN博客_java kafka创建topicKafka简介: Kafka是一个分布式发布--订阅消 ...
阿里P8架构大神分享纯手写“kafka文档”看完直呼太牛！
什么是 Kafka Kafka 是由 Linkedin 公司开发的,它是一个分布式的,支持多分区.多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系 ...
每个c语言程序写完后都要按照,c语言基础学习小结(习题总结)（5页）-原创力文档...
书山有路勤为径学海无涯苦作舟一.思考题. 1.你如何向别人解释清楚什么是编程.什么是计算机语言? 2.什么是C语言? 二.解答题. 1.用C语言编写程序:求任意两个整数的和.如果是小数的话,要求输 ...
展望2015把C++版本的掼蛋程序写好
展望2015把C++版本的掼蛋程序写好 2015年,用四个字总结"挂了,活了".在CSDN这么多年,就像是一个家一样. 所谓挂了,就是挂科了,班长没了.以产生的一系列的结果, ...
网络通信程序写起来很难专业课没问题
这时,hongjin2还在一家私营公司里打工,于是,白天上班,晚上就挑灯夜战,每晚不到12点不休息.经过半年的复习,hongjin2参加了1997年元月的整个网站研究生入学考试,成绩出来,网络通信程序 ...
程序写不好，总理当到老！
导读:自古英雄出少年,可惜不想当总理,只想当个程序员. 最近HackNext网站有一个贴子引发网友热议,一位叫Lihaoyi的作者宣布自己刚刚写了一本叫<动手Scala编程>的书,表示自己 ...
noip2014到2017初赛普及组看程序写结果、完善程序
一晃又是noip2018了今天先进行普及组初赛摸底计划做两套题(noip2016.noip2014,这两套题比较中规中矩),分析一下大家的知识点缺陷,然后每个人再进行有针对性的学习. 重点是看程 ...
数据库阻塞---讲解设计应用程序时避免阻塞的八个准则
当来自应用程序的第一个连接控制锁而第二个连接需要相冲突的锁类型时,将发生阻塞.其结果是强制第二个连接等待,而在第一个连接上阻塞.不管是来自同一应用程序还是另外一台客户机上单独的应用程序,一个连接都可以 ...
C语言（11）,用程序写简单图形。
(今天进行对一些实例进行编程,来自牛客网初学者入门训练) 以下为一个系列,用程序写出一个图形: 1. 输入描述:多组输入,一个整数(1~20),表示正方形的长度,也表示输出行数. 输出描述:针对每行输 ...

go应用程序写kafka阻塞（大坑）

go应用程序写kafka阻塞（大坑）相关推荐

最新文章

热门文章