flink消费kafka,在写source时用filter算子过滤掉某条数据后,会消费掉该kafka数据吗,该消息的偏移量会提交吗。FlinkKafkaConsumer010中如何获取kafka的偏移量呢,有大佬知道吗
对kafka来说,只要这条数据发出去了,就算消费了,你消费者怎么处理,和kafka无关了。
对消费者来说, 你只需要消费下一条就行了。
至于偏移量, 你第一次消费的时候,是要发送偏移的,这个你消费者要本地记住的,否则就重复消费了。
过滤也算消费啊
Flink Kafka Source目前还不支持获取Offsets偏移量,需要自己获取然后保存到Redis中,实现方法可以看下Spark自己保存offsets方法。如果你下游数据可以实现幂等性,再加上定期checkpoint,可以重复消费也就没必要了。