kettle从入门到精通 第八十二课 ETL之kettle kettle中的【阻塞数据直到步骤都完成】使用教程
创始人
2024-11-14 03:34:46

 1、在使用步骤【阻塞数据直到步骤都完成】(英文为Block this step until steps finish)之前,我们先来了解下什么是 Copy Nr?

 Copy Nr是指 “副本编号” 或 “拷贝编号”,也就是下图中的复制的记录行数,图中的两个步骤复制的记录行数都是0,表示只有一个副本。

  2、写日志步骤右键改变开始复制的数量,这里我们设置为3,如下图所示:

 3、保存&运行,步骤度量tab中写日志步骤一个有三个副本在运行,Copy nr 分别为0、1、2,每个副本会根据前置步骤的数据发送策略处理输入的数据,如下图所示:

 4、言归正传,我们继续研究步骤【阻塞数据直到步骤都完成】,该步骤可以阻塞一个或者多个步骤的一个或者多个副本,直到所有副本都处理完毕之后才会处理步骤【写日志-done】,如下图所示:

注:图中的复制次数就是指的是副本的数量,写日志步骤的副本是3,所以若要阻塞写日志步骤,监视下面的步骤里面设置3条数据,复制次数分别是0、1、2。

 5、保存&运行,可以看到转换正确执行,先执行三个步骤写日志副本,然后再执行写日志-done步骤,如下图所示:

 6、若复制次数填写3或者以上则会出错,所以这里复制次数是从0开始的,不是从1开始。如下图所示:

 7、将第一个转换复制一份,写日志2步骤这里设置2个副本。步骤【阻塞数据直到步骤都完成】同时阻塞步骤【写日志】和步骤【写日志2】,依然可以正常运行,如下图所示:

 总结:

1、Copy Nr 是 Kettle/PDI 中用于标识不同步骤副本的编号,主要用于支持并行处理和管理多个副本。在设计数据转换或作业时,合理设置和管理这些副本,可以提升数据处理的效率和灵活性。

 2、阻塞步骤【阻塞数据直到步骤都完成】可以阻塞一个或者多个步骤的1个或者多个副本。副本次数是从0开始计数而不是1。

相关内容

热门资讯

裸辞做“一人公司”,我后悔了 去年这个时候,一位以色列程序员正在东南亚旅行。他顺手把一个在脑子里转了很久的想法做成了产品,一个让任...
南京建成国内首个Pre-6G试... 4月21日,2026全球6G技术与产业生态大会在南京开幕。全息互动技术展台前,一名远在北京的工作人员...
超梵求职受邀参加“2025抖音... 超梵求职受邀参加“2025抖音巨量引擎成人教育行业生态大会”,探讨分享优质内容传播,服务万千学员。 ...
摩托罗拉Razr 2026(R... IT之家 4 月 22 日消息,摩托罗拉宣布新一代 Razr 折叠手机将于 4 月 29 日在美国发...
库克卸任,特纳斯领航:苹果新纪... 苹果首席执行官蒂姆·库克将卸任,硬件工程主管约翰·特纳斯将接任,苹果公司今天宣布此事。 库克将在夏季...