做科研课题,需要在Python中处理将近100亿行的数据,想到了把数据存入MySQL数据库以供查询的方法。因为只涉及最简单的插入和查询操作,使用了MyISAM引擎。设计了分表方案后每张表大约3000万行数据,大概有9个double类型字段和2个smallint类型字段,其中2个smallint类型字段建立组合索引用于查询。想知道这个方案是否需要进一步优化?
查询条件主要是这2个字段吗?如果还是很慢的话是否可以再细分一些表出来呢?
你这种情况感觉用archive引擎更合适。
但如果更好的选择,列式数据库,比如hbase
您好,我是有问必答小助手,你的问题已经有小伙伴为您解答了问题,您看下是否解决了您的问题,可以追评进行沟通哦~
如果有您比较满意的答案 / 帮您提供解决思路的答案,可以点击【采纳】按钮,给回答的小伙伴一些鼓励哦~~
ps:问答VIP仅需29元,即可享受5次/月 有问必答服务,了解详情>>>https://vip.csdn.net/askvip?utm_source=1146287632