公司最近项目之间传输数据,kafka对数据不严格,怎么防止丢失数据!

蝈蝈0101 发布于 08/20 16:59
阅读 682
收藏 0

公司最近项目之间传输数据,要用kafka,但是kafka是有丢失数据的可能,该怎么样防止丢失!

加载中
0
qq379377944
qq379377944
kafka从0.11版本起就提供了严格一次消费语义,你这个不严格的结论是怎么得出的?
0
f
freezingsky

kafka中的:

至少一次

至多一次

都能保证不丢失, 你哪来的丢失 ........

0
JavaGG
JavaGG

kafka应该是不会丢失的,但你担心就使用mq产品吧

0
尚浩宇
尚浩宇

kafka也有ack机制,你应该关注的是重复收到怎么处理而是丢失,消息量不大用rabbit,他支持强事物

0
往后余生_
往后余生_

是不是kafka中自动提交offset导致的?可以尝试业务逻辑处理完成手动提交offset,这样丢失数据的可能性会小很多

返回顶部
顶部