我有一个3GB的csv文件,然后这个csv文件里有5个工作表,我想用python读取这个文件,进行数据清洗,有没有懂的告知一下怎么快速读取,谢谢
import pandas as pd
# 读取CSV文件中的所有工作表
df_dict = pd.read_csv('example.csv', sep=',', header=0, index_col=False, encoding='utf-8', engine='c', iterator=True, chunksize=100000)
# 将所有工作表合并成一个DataFrame
df = pd.concat(df_dict, ignore_index=True)
# 查看数据
print(df.head())
# 删除空值行
df.dropna(inplace=True)
# 将所有"A"替换为"B"
df.replace({'A': 'B'}, inplace=True)
# 对数据进行分组和聚合
sales_by_category = df.groupby('Category')['Sales'].sum()
print(sales_by_category)