python处理大文件

这是我将csv文件中aod_QA一列转换成二进制的代码,现在如何将这一列添加到我的csv文件里面,我使用的方法是先将这一列转换成dataframe,然后再和原来的csv进行concat,但是这个速度真的太慢了。有没有什么高效的方法?还有转换成二进制后,如何将这一列数据根据其中的某几位进行筛选?请各位给我提供一下思路,谢谢!

img

img

img

学会使用sed和awk

python是脚本语言,千万不要自己写代码逻辑,能调用库一定要用库(库是用c写的,所以比你的代码快很多)。比如说 pandas

不知道你这个问题是否已经解决, 如果还没有解决的话:

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^