根据指定的目录,从FTP服务器将不定时推送的新文件采集到对应的数据库中,并且不会重复采集。文件基本是用YYYYMMDDHH格式的文件名区分,提供一下程序或者思路参考学习下
首先,分析你要采集的信息是什么,对应设计你的数据库;
其次,编写文件内容处理的代码,解析文件的内容,生成解析后的数据,使用jdbc或者ORM框架完成数据入库;
最后,使用FTP连接工具如FTPClient,定时从服务器指定目录下载文件,循环调用文件解析模块,并记录此次下载的时间。
我觉得你可以直接是纯java后台应用就够了。你需要弄清楚文件解析规则,存储什么数据。