需求是源表数据输入到hive和clickhouse中,但是在入的过程中,clickhouse报了这个问题(hive入库成功),用的是同一个临时表。hive、clickhouse的表字段相同,并没有设置非空限制,而且字段的值并不为空(测试过硬编码入报错的字段,hive顺利入库,clickhouse还是报同一个问题)。猜测:临时表字段与clickhouse的字段存在差异,但是两个物理表是相同字段的。
码住
问题已经解决,
原因:因为clickhouse搭建了集群。查看入库目标表的建表语句,发现该表的分布式表只创建在单个节点上,导致了入库失败(spark设置了集群模式-yarn)。
测试:将入库的clickhouse表格切换为集群上的分布式表,数据入表成功;新建一个单节点上的表,运行,报TEXT NOT NULL。