最近公司遇到个问题,MySQL有一个数据量近亿级的表,这个表的数据主要用于客户导出和查看,要求是能在列表页翻页查看,并且导出几十万量级的数据,要求速度快一点。试过了MySQL的分区分表,ES(用的ElasticSql方式,主要是要根据条件查询出大批量的数据,对翻页支持不太好),都不太行,有什么数据库适合这种场景?
influxdb
分表吧
导出是全部导出嘛?导出数据有要求吗
分页查询没问题,size设置最大100
数据量大的 分库分表、读写分离、使用redis缓存
一般的分表分库搞不了,如果不差钱的话,就把数据拆分到多个服务器,然后刷到redis里面,然后根据用户条件同步处理
如果数据不修改得话,建议用es
要不看看Apache Druid,之前用过感觉还挺符合你的需求