###### 问题遇到的现象和发生背景
我这里有一些交易数据，大概每个未经处理的csv文件大小为4G左右，1000-2000万条。我需要批量读取这些csv文件，并且进行处理与可视化操作。
我的当前想法是，利用pyarrow读取csv文件，单个文件读取时间大概在100秒左右。
Q1、请问应该如何做，才能提升同时读取10个这种csv文件的运行效率呢？
Q2、为了方便后续的数据处理，我想通过对这些DataFrame处理以后，分类重新写入一些新的csv文件，这样可以让我后续再处理的时候读取对应的csv文件会很快。但是一个csv文件就需要大概拆分为3000-4000个csv文件，分类以后的重新写入新csv文件的过程耗时太长(分类方法使用的是groupby() ，写csv文件的方法使用的是to_csv() )。请问有什么方法可以提升这个写入速度吗？
Q3、如果不考虑重新写入新csv文件的方法，请问还有什么好的方法吗？
建议导入到数据库中再进行处理