如何使用presto对hive分区表进行insert和delete

由于公司需要构建实时数仓,所以需要对经由debezium采集的mysql和oracle数据库的数据变更记录写入到hive数仓中,并及时反馈给业务系统使用,hive的查询使用的是presto,实时数据处理任务采用flink,环境配置具体如下:
hadoop 2 10 0
hive 2 3 6
flink 1 13 1
presto 0 260
现有一张hive分区表,单个分区的数据量为10万,由于presto不支持update操作,所以如果要进行update操作,需要用presto查询出该分区的原数据,写入临时表,然后删除并重建该分区,将修改后的数据和原数据拼装后,重新写入新分区,在这过程中发现使用presto执行insert select单次插入数据1000条就需要12秒多,不能满足实时数据查询的需要

请问如何实现对hive分区表的实时更新呢?

你好,我是有问必答小助手,非常抱歉,本次您提出的有问必答问题,技术专家团超时未为您做出解答


本次提问扣除的有问必答次数,将会以问答VIP体验卡(1次有问必答机会、商城购买实体图书享受95折优惠)的形式为您补发到账户。


因为有问必答VIP体验卡有效期仅有1天,您在需要使用的时候【私信】联系我,我会为您补发。