亿量级别数据用java查询并放入redis,如何处理效率最快

为了减少与数据库的交互,现在要把Oracle中上亿级别的数据用java查询出来并放入
redis中,自己写了代码,发现效率非常慢,这么处理可以提高效率?

上亿条数据占用内存都好几十个G吧,这种数据量就不是用redis了,要考虑用spark或者hive处理了

这个数据量,单台处理不了了,考虑用集群吧,,,

文件太大,一台机子存不完。

1、一次查出来,还是分批次查出来(建议分批次查);
2、查的慢是sql性能问题,还是java性能问题;
2.1 sql性能可以建索引、减少排序|统计等函数的使用、去除多余的关联表;
2.2 java性能(一般不会存在,java其实挺快的),根据机器性能调整 jvm配置,一步一步优化一下代码,去除多余的内容,越精简越好,
3、上亿的数据量处理起来本身就需要一定的时间,不可能一步到位,试着一步一步优化吧