200字范文,内容丰富有趣,生活中的好帮手!
200字范文 > kafka —— consumers 消费者 group 找不到得原因

kafka —— consumers 消费者 group 找不到得原因

时间:2020-03-09 14:16:43

相关推荐

kafka —— consumers 消费者 group 找不到得原因

刚接一个streaming的代码,有一个需求:group幽灵

问题:spark消费kafka数据,消费过程没有任何问题,数据正常消费,编译没问题,运行也没问题。

但是:无论从哪里,kafka manager或者其他得,都找不到group组。

检查kafka,检查ETLspark代码

突然发现,代码里修改了mit:false

就是设置手动提交offset,但是在读数据的时候有获取offset,但是最后没有提交offset的操作。。。

这样导致的结果就是:

数据正常消费(因为程序容错做的非常好,平台也非常稳定,就没有出现过宕机服务挂掉的情况,数据就一直没有问题),但一直没有groupid;

可能不懂,也可能是粗心大意了,但这样的代码真的出现问题,针对非离线实时共存的Lambda架构,就会无法找回丢失的数据,所以希望所有开发者小心。

解决方式也很简单

mit:设置为true

或者

处理完数据后,一定不要忘记提交offset到kafka

问题看似很简单,但是这个坑你如果没踩过。。。真的 疯狂得测试把。。。。哈哈哈哈(本人已被逼疯~~)

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。