想问个问题 :java大数据查询的解决方案。
导致查询速率较慢的原因:1. 查询的基础的数据量很大 (百万级别) 2. 关联的表较多
为什么是java查询大数据,这个应该在是数据库优化吧。优化表结构和查询语句。
没做过百万级别,我最多也就是十万级别的小型数据而已,关联的表也不多,可能帮不了你
如果对实时性要求不是很高,可以对一些查询结果做缓存,冗余字段,或者临时表,比如把关联的字段先放入主表的冗余字段。比如对一些统计值每天或者每小时算出一个统计值存入。
对历史数据库封存,并且冻结统计。
另外,分布式数据库,分库分表,多机查询等也可以提高性能。这个要具体优化了。
分层做多次哈希,分解查询压力。
可以考虑尝试一下YDB