阿里云Dataworks如何解决笛卡尔积查询

背景:

有两张表,分别是大表约为5000万行以上,另外一张表有1000行左右。

目标:

查询大表中某个字段中包含小表中值的情况

MySQL:

select a.id from dev.ods_user_base as a,dev.sentive as b where a.name like CONCAT('%',b.value,'%');

报错:不允许使用笛卡尔积,需要使用mapjoin

修改后代码依然不行:

select /*+ mapjoin(a) */ a.id from dev.ods_user_base as a join dev.sentive as b on 1=1 where a.username like CONCAT('%',b.value,'%');

大家有没有其他做法?

参考:https://help.aliyun.com/document_detail/73785.html

笛卡尔积浪费资源,所以阿里云会禁止使用,

mapjoin最多支持指定128张小表,否则也会报语法错误。

 

小表如果数量不大的话,可以使用for循环遍历来处理