在Linux中使用命令行运行kettle的ktr文件,如何以集群的方式运行
在Linux中以集群方式运行Kettle的ktr文件,需要使用Kettle的命令行工具kitchen和pan。具体步骤如下:
#!/bin/bash
/opt/data-integration/kitchen.sh -file=/path/to/your/ktr/file.ktr -level=Basic -logfile=/path/to/log/file.log
其中,/opt/data-integration/kitchen.sh是Kettle命令行工具kitchen的路径,/path/to/your/ktr/file.ktr是要运行的Kettle转换文件的路径,-level=Basic表示输出日志级别为Basic,-logfile=/path/to/log/file.log表示将日志输出到指定文件。
在集群的每个节点上运行启动脚本,即可启动Kettle任务。
需要注意的是,如果Kettle任务使用了Hadoop输入或输出组件,则需要在启动脚本中指定Hadoop的配置文件路径。例如:
#!/bin/bash
/opt/data-integration/kitchen.sh -file=/path/to/your/ktr/file.ktr -level=Basic -logfile=/path/to/log/file.log -Dhadoop.home.dir=/path/to/hadoop/home -Dhadoop.conf.dir=/path/to/hadoop/conf
其中,-Dhadoop.home.dir和-Dhadoop.conf.dir分别指定了Hadoop的安装目录和配置文件目录。