最近做了一个新需求，但是客户提供的数据是excel表格，因为每天数据量比较大，大概40万左右的数据，
写到数据库用java定时任务的话时间太长，效果不太理想，所以想写个脚本每天凌晨把excel转换成cvs或txt,用sqlload加载到数据库中，这样效率会好一些吧。
不知道大神们有没有更好的，高效方式，请赐教。
谢谢！！！
如果以前的数据是储存在另外工作簿时，在打开文件时会有个类似是否更新数据的提示，应选择是。
在本地 建立 字段一样的数据库 生成sql脚本 在用软件传到 服务器 半夜执行以下sql 就好了 我每次上线的时候都是这样
使用python处理，导入pandas库
import pandas as pd
df = pd.ExcelFile("file.xls")
#设置column
df['col']对各个信息进行处理
这个需求这么处理是最便捷的，而且脚本定期执行
估计也只能编程实现，或者用elk之类的大数据平台做实时转换处理。