目前在公司当中搭建离线数仓,想请教一下,如何能够让数仓及时地和业务系统数据库同步更新。
比方说现在在业务方新添加了业务过程,如何能够及时地同步到这个业务过程,然后在数仓当中相应添加事实表;
或者是对于某一个维度,新添加了一个属性,如何能够及时同步到这个属性,然后相应地修改数仓当中的维度表呢
曾经我们这边也想过几个方案:
方案一:监听数据库binlog文件,当有DDL语句时,就通过某种方式通知到数据开发同学,然后相应地添加表格、但是由于公司这边使用了阿里的ADB数据库,无法正常监听binlog,所以这种方案就不太可行
方案二:在gitlab里面配置,当有新功能上线的时候,通过邮件告知到业务开发同学,发现也不是特别适用。因为可能会有很多版本迭代,并不是真正的增加新的业务数据表,方案也不太可行
所以想要请问一下,通过什么方式比较可行一点,谢谢!