mysql单表4000万行数据,如何按单个字段快速去重呢?电脑内存只有8G

mysql单表4000万行数据,如何按单个字段快速去重呢?电脑内存只有8G

使用distinct关键字,且给需要去重字段加上索引。

看你是什么类型的数据,可以先hash入表,然后分组。

看你的Where 条件是什么? 给这些Where 条件的column 增加索引(index)
保证查询的数据在几秒内即可求出

  1. 目标字段加索引;
  2. 单个字段过滤,用distinct即可;