为什么Flume的Kafka和Exec的Source都有类似batchTimeout的参数(Kafka有batchDurationMillis), ⽽SpoolDir Source 却没有类似参数?
Exec source适用于监控一个实时追加的文件,不能实现断点续传;
Spooldir Source适合用于同步新文件,但不适合对实时追加日志的文件进行监听并同步
所以不需要推送的缓冲时间
我觉得是Exec Source和Kafka Source这两个source的数据是随着时间慢慢采集出来的,所以需要设置超时时间来保证及时地采集数据到channel。
而SpoolDir Source的数据相对flume来说是已经在文件里面了,设置了batchSize就可以正常地连续地采集数据到channel了,不用担心数据一直达不到batchSize而发送不到channel,也就不用设置timeout了。