请教各位专家:pandas写入excel时,时间太长如何解决?

最近在研究数据存储的功能,采用pd.to_excel的方法做的。
这个方法有个问题:
一次存5000个数据,第一次存大约0.6s,第二次存大约1.2s,第三次存大约1.8s。
我逐句看了一下,load_workbook占了一些时间,writer.save占了一些时间。而且第二次存5000个数据的时候,是把最开始的5000个数据读出来,然后加上本次增加的5000个数据,10000个数据再写入到excel中。

这个时间在数据更多的时候会更长,最终到无法忍受。请教各位专家,是否有方法缩减这个时间?

xlsx文件实际上是多个xml文件构成的压缩包,数据、格式等等都定义在了不同的xml文件内,甚至同一个sheet中的数字和文本都是放在了不同的xml文件里,因此读取数据和写入数据都需要进行不少的解析动作。
如果你想要快速将数据写入文件,最好的方式是直接存成文本文件,这样要继续对已存在的文件增加数据时,不需要再次读取原文件内容进行解析了。
如果最终目标是生成xslx文件,可以在文本文件的内容全部生成后,一次性转换成xlsx

您好,我是有问必答小助手,您的问题已经有小伙伴帮您解答,感谢您对有问必答的支持与关注!
PS:问答VIP年卡 【限时加赠:IT技术图书免费领】,了解详情>>> https://vip.csdn.net/askvip?utm_source=1146287632