使用jdbc执行查询sql,数据量在30w多一点。使用流式查询基本上都是2.4分钟。想使用分片+多线程来提高效率结果发现基本差不多。
分片方式:id % 10= 0、id % 10= 1、2、3...分成十条sql然后开10个线程
引用 皆我百晓生 小程序回复内容作答:
根据你的描述,你尝试通过使用分片和多线程来提高 SQL 查询的效率,但是结果并没有显著的改善。这可能是因为你的数据库性能已经达到了瓶颈,或者你的分片和多线程策略并没有充分地利用数据库的并发能力。
以下是一些可能的优化措施,可以帮助你提高查询效率:
需要注意的是,并非所有的数据库和硬件环境都能够完全利用多线程和分布式查询来提高查询效率。因此,在实施这些优化措施之前,最好先了解你正在使用的数据库系统和硬件环境的特性和限制,以确定哪些措施适合你的具体情况。
另外,对于大型数据集的查询,还可以考虑采用其他存储和查询方案,如分布式数据库、列式存储等。这些方案可以更好地应对大数据量的查询需求。
最后,如果你需要更具体的帮助,建议提供更多的代码和相关信息,这样可以更好地理解和分析你的问题,以给出更准确的建议。