filebeat采集日志限制长度

filebeat采集单条日志是不是有长度限制,我发现有条比较长的语句采集之后部分数据丢失了。
上网查了下filebeat单条语句采集长度限制说是默认10M,可是有问题这个数据虽然有1000多行但是大小也才20k。

也试着修改了下max_message_bytes,结果也没啥用,有大腿知道为啥吗

img

Filebeat默认有单条日志长度限制,但是默认值是10MB,你遇到的问题可能不是由于长度限制引起的。
如果你修改了max_message_bytes配置,但是仍然遇到了数据丢失的问题,那么可能是其他原因导致的。
以下是一些可能导致数据丢失的原因:

  1. 日志文件被其他进程或者线程修改或删除,导致Filebeat无法读取完整的日志内容。
  2. Filebeat配置文件中的close_inactive参数设置得太小,导致Filebeat在日志文件没有完全写入之前就关闭了文件句柄。
  3. Filebeat的输出目标(如Elasticsearch)的缓冲区设置得太小,导致数据被丢失。
  4. 日志文件中的数据格式不正确,导致Filebeat无法正确解析数据。
您好,我是有问必答小助手,您的问题已经有小伙伴帮您解答,感谢您对有问必答的支持与关注!
PS:问答VIP年卡 【限时加赠:IT技术图书免费领】,了解详情>>> https://vip.csdn.net/askvip?utm_source=1146287632