最近用到hadoop的HIVE,不知道怎么和ORACLE同步啊,谁能给个简单的例子
hive库是基于hadoop的数据仓库工具。
可将数据文件格式化为一个数据表,并对外提供一个sql查询。
但是hive库不支持 insert into。。。values()
不支持 delete....
不支持 update....
只能使用insert overwrite table *** select * from **
create table ** select **
除此之外,sqoop工具,提供了从多种数据库与hive库间的同步功能,其中以oracle同步数据到hive为例。
sqoop import -D oracle.sessionTimeZone=Asia/Shanghai \ #不多说,一看便知,格式化时区
--connect jdbc:oracle:thin:@127.0.0.1:1521:ss \ #数据的基本链接
--username root \
--password root \
--table t_table \ #oracle中需要被同步的表格
--columns KEY,KPV,KTIME \ #假设oracle表的字段很多很多。此处是需要同步的字段。注意是大写的!!!!
--where "TRUNC(KTIME)>=TRUNC(ADD_MONTHS(SYSDATE,-1),'month') AND TRUNC(KTIME)<=TRUNC(LAST_DAY(ADD_MONTHS(SYSDATE,-1)))" \ #假设很多很多数据,我只要上个月的数据。
--warehouse-dir /hadoop/zc/t_table \ #sqoop同步到hive中中间数据存储的位置。
--hive-import \ #同步到hive里面
-m 1 \ #map的个数
--split-by KEY \ #根据KEY字段分区
--hive-table hive.table \ #同步到hive库的table表中
--hive-overwrite #如果有数据的话,全部覆盖
其中oracle的同步需要注意时区的格式化。
oracle同步如果不指定split-by会同步失败
CSDN移动问答