业务场景:1我想要从一张表数据差不多两千万数据量,来获取某一个字段从而批量更新到另外一张表里,有相同的连接字段
2需要在极短的速度将千万数据更新进去,需要使用python来构建脚本,速度在秒级最好
3最好能分批次完成更新,因为数据量大,怕超过MySQL承载
秒级,应该做不到
别说更新了,就说插入操作吧,假设两千万条数据已经加载到内存,现在执行插入操作,也不是几秒就能完成的。哪怕数据很简单,10w每秒也到顶了。
除非你的数据有规律,可以进一步切分,进行多表存储。
两千万的数据其实不算大,1分钟之内更新还是可以的,10秒之内就不确定了,
他涉及到数据库连接,读取数据,分析数据,更新数据。
对于数据库操作,如果要想速度够快,千万不要一条一条的插入,这样效率极低,我一般是10万左右插一次,当然了,这个要靠实验,根据你自己字段的长度多少,如果每个就两个字段,那么就可以适当调高,速度就更快
两千万的数据,如果字段少。内容少,读起来不慢,秒级。。。有点那个,多进程读取分开操作,写入,