Commit 3d92eca

authored

Merge pull request Snailclimb#1431 from machitaoX/feature_completeKafka

feat:补充kafka不重复消费的解答

2 parents bd3b9fe + f014952 commit 3d92ecaCopy full SHA for 3d92eca

File tree

+12

-2

lines changed

+12

-2

lines changed

Lines changed: 12 additions & 2 deletions

Original file line number	Diff line number	Diff line change
`@@ -207,8 +207,18 @@ acks 的默认值即为1,代表我们的消息被leader副本接收之后就`
`207`	`207`
`208`	`208`	`### Kafka 如何保证消息不重复消费`
`209`	`209`
`210`		`-代办...`
`211`		`-`
	`210`	`+1. kafka出现消息重复消费的原因`
	`211`	`+ * 服务端侧已经消费的数据没有成功提交 offset(根本原因)`
	`212`	`+ * kafka 侧由于服务端处理业务时间长或者网络链接等等原因让 kafka 认为服务假死,触发了分区 rebalance`
	`213`	`+2. 解决方案`
	`214`	`+ * 最有效:消费消息服务做幂等校验,比如redis的set、mysql的主键等天然的幂等功能`
	`215`	`+ * 将 enable.auto.commit 参数设置为 false,关闭自动提交,开发者在代码中手动提交 offset。那么这里会有个<br>`
	`216`	`+ 问题:`
	`217`	`+ 什么时候提交offset合适?`
	`218`	`+ * 处理完消息再提交:依旧有消息重复消费的风险,和自动提交一样`
	`219`	`+ * 拉取到消息即提交:会有消息丢失的风险。允许消息延时的场景,一般会采用这种方式。然后通过定时任<br>`
	`220`	`+ 务在业务不繁忙的时候做数据兜底,一般是基建较好的公司会通过大数据部门在晚上兜底`
	`221`	`+`
`212`	`222`	`### Reference`
`213`	`223`
`214`	`224`	`- Kafka 官方文档: https://kafka.apache.org/documentation/`

Comments

(0)