我有一个flinkcdc监控mongodb落地到hive的需求，要求在不修改代码的情况下，上游mongodb表结构发生变化，下游能够感知到并同步修改，我的思路是flinkcdc正常消费mongo，结构化数据成json放入kafka中，flinkcdc可以感知到mongo列的增加和修改，但是删除是感知不到的，我想把表结构信息放入pg数据库的一张表中，根据这张表拼接成flinksql去消费kafka中的jason数据，并且在拼接前，先使用flinkcdc监控pg表，放入状态中，假如状态发生变化，我先使用flinksql hive语义修改下游hive表结构，然后拼接flinksql消费kafka数据落地hive，这个方案是否可行呢？或者有更好的方案吗？
您的思路是可行的，可以尝试实现。下面是我的一些建议和思考：
删除操作是无法感知到的，因为flinkcdc只能感知到数据的变化，但无法感知到数据的删除。如果您需要感知删除操作，可以考虑在MongoDB中添加一个标记字段，用于标记数据是否被删除，然后在flinkcdc中过滤掉被标记为删除的数据。
将表结构信息存储在pg数据库中，然后使用flinkcdc监控pg表的变化，以更新表结构信息。这个思路是可行的，但需要注意的是，如果pg表结构发生变化，需要及时更新flinksql中的表结构信息，否则可能会导致数据落地到hive时出现错误。
在拼接flinksql之前，建议先对上游数据进行一些必要的处理，例如解析json数据、过滤无用数据等。这可以使用Flink的处理函数和过滤器来实现。
在修改下游hive表结构时，建议使用Hive的DDL语句来实现，例如ALTER TABLEADD COLUMN等操作。同时需要注意，修改表结构可能会影响到已有数据的查询和导出，因此需要谨慎操作，并在修改前备份数据。
在将数据落地到hive时，建议使用Hive的ACID特性来确保数据的一致性和可靠性。ACID是指原子性、一致性、隔离性和持久性，它可以确保在多个并发事务执行的情况下，数据的一致性和可靠性。
最后建议进行充分的测试，包括对不同类型的数据、表结构的变化、并发场景等进行测试，以确保系统的稳定性和可靠性。
总之，您的方案是可行的，但需要考虑到数据一致性、效率、可靠性等方面的问题，并进行充分的测试和验证。如果在实现过程中遇到问题，可以随时寻求专业人士的帮助。
你的方案看起来是可行的，但是可能有一些问题和风险：
你需要保证pg表中的表结构信息和mongo表中的实际结构是一致的，否则可能会导致数据丢失或者错误。还需要保证flinkcdc能够及时感知到pg表中的表结构变化，并且能够正确地修改hive表结构和消费kafka数据，否则可能会导致数据延迟或者不一致，另外需要考虑mongo表中的数据类型和hive表中的数据类型是否兼容，以及json数据和hive表中的数据格式是否匹配，否则可能会导致数据转换失败或者损失精度。
我想的一个可能更好的方案是使用flinkcdc直接监控mongo表，并且使用flinksql的DDL语句创建一个hive表，然后使用flinksql的INSERT语句将mongo表中的数据插入到hive表中。这样可以避免使用kafka和pg作为中间层，简化了流程和逻辑，也可以保证数据的实时性和一致性。当然，这个方案也需要考虑数据类型和格式的兼容性问题。
如果是临时的或者短期的可行，不然后期成本太高
总体上可行，短期或者临时使用没有问题，但是如果运行时间较长的话，可能会导致开销过大，响应时间过长问题
方案不实用：借鉴下chatgpt：
需要确保表结构信息在pg数据库中及时更新，并且状态变化的监控需要及时响应。此外，需要确保拼接的Flink SQL能够正确地处理各种表结构变化。如果您担心这个方案的可靠性和复杂性，考虑使用专门的数据管理工具或平台可以更好地解决这个问题，如StreamSets、Talend或Apache NiFi等。这些工具可以更轻松地管理数据流和处理表结构变化。