StormKafka整合问题
在项目代码中加入
spoutConfig.startOffsetTime = kafka.api.OffsetRequest.LatestTime();
设置起始偏移量,防止Storm每次都读取全部数据。
但是初始运行项目时,就会报错(估计是偏移量为0)
Unable to get offset lags for kafka. Reason: java.lang.NullPointerException at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.getOffsetLags(KafkaOffsetLagUtil.java:272) at org.apache.storm.kafka.monitor.KafkaOffsetLagUtil.main(KafkaOffsetLagUtil.java:124)
唯一的解决方式是:短时间内插入大量数据,可解决这个问题()。不清楚是否跟zk心跳机制有关。
求大佬,真正的解决方法是什么?配置也检测了没问题。
到底怎么解决哇 大哥们
props.put("auto.offset.reset", "latest"); 这样设计咧