create table t_record(
id bigint auto_increment primary key,
timet varchar(32),
ptdate VARCHAR(32),
tablename VARCHAR(128),
databasename VARCHAR(128),
filehost VARCHAR(32),
record_num_oracle bigint,
record_num_file bigint,
record_num_hive bigint,
zip_type varchar(16),
md5 varchar(64),
file_name varchar(1024),
mstatus int ,
date TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);
1、扫描mysql表,指定字段过滤(tablename)。
2、根据字段file_name 确定文件名 , 检查md5值是否一直, 并解压得到数据文件。
3、put到hdfs文件系统
4、load到hive临时表
5、insert到hive正式表
6、输出最终文件导入结果。
建议如下:如有帮助,请采纳一下,谢谢! 这个不难
通过 shell的语法来执行相关的操作