有个需求是用flume实时监控MySQL中的数据变化,包括增量数据和修改的数据,增量数据可以采集,但是修改的数据没有头绪,这个场景用flume能不能实现,如果能的话配置文件怎么写,请大佬指教。
我记得flume 可以增加一个扩展 ,就是source 连接mysql ,然后写一个jar包来处理 mysql的 变化,但是感觉很麻烦,而且flume 并不是做这种业务的最好工具,
推荐使用 canal 阿里巴巴开源的 DTS产品,完全可以满足你这个需求,而且很贴切 ,网上有一堆资料
我之前加了一个flume-ng-sql-source.jar包,可以完成增量的采集,但是无法采集修改数据,你说的处理mysql变化的jar包也是这个吗
你可以考虑用canal,我现在就在考虑用canal(可以监控数据库操作的变化,增删改查都可),具体的你可以考虑去网上搜一下,或者看我的文章