使用logstash同步千万级数据,有一张主表,n张子表,我是使用left join关联成了视图,在用logstash根据时间戳同步的。数据量太大,同步很慢,也很难保证数据不丢失问题。请教解决方案!
做基于binlog的CDC变更捕获同步管道中做join操作,快照并行增量串行,如果没有binlog权限那就先间隔扫表读变更,然后每日做全量覆盖保证数据准确性