响应式旅游网站模板下载,虚拟主机和网站的关系,软件技术招聘信息,东台做网站的公司Flink概念知识讲解之#xff1a;Restart重启策略配置
当 Task 发生故障时#xff0c;Flink 需要重启出错的 Task 以及其他受到影响的 Task #xff0c;以使得作业恢复到正常执行状态。
Flink 通过重启策略和故障恢复策略来控制 Task 重启#xff1a;重启策略决定是否可以…Flink概念知识讲解之Restart重启策略配置
当 Task 发生故障时Flink 需要重启出错的 Task 以及其他受到影响的 Task 以使得作业恢复到正常执行状态。
Flink 通过重启策略和故障恢复策略来控制 Task 重启重启策略决定是否可以重启以及重启的间隔故障恢复策略决定哪些 Task 需要重启。
重启策略
Flink 作业如果没有定义重启策略则会遵循集群启动时加载的默认重启策略。 如果提交作业时设置了重启策略该策略将覆盖掉集群的默认策略。
可以通过 Flink 的配置文件 flink-conf.yaml 来设置默认的重启策略。配置参数restart-strategy 定义了采取何种策略。 如果没有启用 checkpoint就采用“不重启”策略。如果启用了 checkpoint 且没有配置重启策略那么就采用固定延时重启策略 此时最大尝试重启次数由 Integer.MAX_VALUE 参数设置。 restart-strategy从1.17版本开始之后改为restart-strategy.type 每个重启策略都有自己的一组配置参数来控制其行为。 这些参数也在配置文件中设置。 后文的描述中会详细介绍每种重启策略的配置项。
restart-strategy的可选值包括以下
none, off, disable: 不重启策略。fixeddelay, fixed-delay 固定延时重启策略。failurerate, failure-rate: 故障率重启策略。exponentialdelay, exponential-delay: 指数延迟重启策略。
接下来我们来分别详细描述一下这些重启策略的原理。
fixed-delay 固定延时重启策略
固定延时重启策略按照给定的次数尝试重启作业。 如果尝试超过了给定的最大次数作业将最终失败。 在连续的两次重启尝试之间重启策略等待一段固定长度的时间。
通过在 flink-conf.yaml 中设置如下配置参数默认启用此策略。
restart-strategy: fixed-delay配置项
estart-strategy.fixed-delay.attempts 默认值 1 也就是默认重启1一次。请注意这个和没有配置重启策略的默认值不一样没有配置策略默认值为 Integer.MAX_VALUE。restart-strategy.fixed-delay.delay 默认值 1 s ,两次连续重新启动尝试之间的延迟时间。如1 min 、 20 s
举例如下
restart-strategy: fixed-delay
restart-strategy.fixed-delay.attempts: 3
restart-strategy.fixed-delay.delay: 10 s在这种配置下如果任务从 “Restarting” 状态变成了 “Running”然后再次因为异常变成 “Restarting”那么重启次数并不会重新计数。 restart-strategy.fixed-delay.attempts 这个参数设置的是在整个任务运行期间最多允许重启的次数而不是连续失败时的最多重启次数。也就是说无论任务在运行过程中的任何时间点出现异常只要累计的重启次数没有超过 5 次都会尝试进行重启。因此即使任务在重启后恢复运行但后续再次失败重启次数仍会继续累计而不会重新计数。
failure-rate 故障率重启策略
故障率重启策略在故障发生之后重启作业但是当故障率每个时间间隔发生故障的次数超过设定的限制时作业会最终失败。 在连续的两次重启尝试之间重启策略等待一段固定长度的时间。
通过在 flink-conf.yaml 中设置如下配置参数默认启用此策略。
restart-strategy: failure-rate配置项
restart-strategy.failure-rate.max-failures-per-interval: 这个设置是在给定的时间间隔内允许的最大失败次数。例如如果设置为 3则表示在设定的时间间隔内如果作业失败了超过3次Flink将不再尝试重启作业。restart-strategy.failure-rate.failure-rate-interval: 这个设置是用于测量故障率的时间窗口。这个时间间隔与上一个参数一起使用例如如果设置为 “1 min”则 Flink 会在每个 “1 min” 的时间段内跟踪作业失败次数并与 max-failures-per-interval 的设置进行比较。restart-strategy.failure-rate.delay: 这是连续两次尝试重新启动作业之间的延迟时间。例如如果作业失败后立即尝试进行重启然后又失败此设置将使 Flink 在下一次尝试重新启动之前等待指定的时间。此设置有助于避免作业在出现持续性问题时过于频繁地尝试重启。
举例如下
restart-strategy: failure-rate
restart-strategy.failure-rate.max-failures-per-interval: 3
restart-strategy.failure-rate.failure-rate-interval: 5 min
restart-strategy.failure-rate.delay: 10 sexponential-delay 指数延迟重启策略
指数延迟重启策略在两次连续的重新启动尝试之间重新启动的延迟时间不断呈指数增长直到达到最大延迟时间。 然后延迟时间将保持在最大延迟时间。
当作业正确地执行后指数延迟时间会在一些时间后被重置为初始值这些阈值可以被配置。
restart-strategy.type: exponential-delay配置项 restart-strategy.exponential-delay.attempts-before-reset-backoff 默认值 infinite 如果重新启动策略已设置为指数延迟则表示Flink 在任务失败前重试执行的次数。一旦 backoff 被重置为其初始值该数字将被重置。 restart-strategy.exponential-delay.backoff-multiplier 指数延迟重启策略的基本工作原理是在每一次 任务失败并需要重启时系统都会等待一段时间这段时间就被称为 “backoff”。 系统初始的 “backoff” 时间由 restart-strategy.exponential-delay.initial-backoff 这个配置项来设定。 当任务连续失败时为了防止过于频繁的重启可能使得问题更加严重系统会在每次重启之前将 “backoff” 时间进行延长。这个延长就是按照指数递增的每一次延长的 “backoff” 当前的 “backoff” * restart-strategy.exponential-delay.backoff-multiplier。 比如说如果你的 initial-backoff 是 10s而 backoff-multiplier 是 2那么 第1次重启会等待 10s第2次重启会等待 10s * 2 20s第3次重启会等待 20s * 2 40s以此类推 通过这种方式Flink 可以在遇到持续性的问题时通过逐渐增加重启间隔为系统提供恢复的时间同时也避免了过于频繁的重启导致的系统压力。 restart-strategy.exponential-delay.initial-backoff restart-strategy.exponential-delay.initial-backoff 配置项用于设置每次重新启动任务时的初始暂停backoff时间。默认值是 1 秒。这个配置项的影响是在任务失败后将等待这个初始暂停时间后才进行第一次重启尝试。 restart-strategy.exponential-delay.jitter-factor: restart-strategy.exponential-delay.jitter-factor 默认值是0.1表示实际重启间隔在计算出的间隔基础上会添加或减去最多10%的时间。 假设按照指数间隔计算出的重启间隔是100秒那么加入抖动因子后实际的重启间隔将在90秒到110秒之间。 例如假设我们的 backoff 时间是 10s乘数为 2抖动因子为 0.1。那么在第一次任务失败后重启的等待时间将在 9s 到 11s 之间±10%。如果任务再次失败那么下一次的等待时间将在 (2*10s)90% 到 (210s)*110% 之间即 18s 到 22s。这样就能够在一定程度上避免多个作业同时重启的问题从而更好地利用资源提高系统的稳定性和效率。 restart-strategy.exponential-delay.max-backoff restart-strategy.exponential-delay.max-backoff 是 Flink 的指数延时重启策略中的一个配置项其作用是设置每次尝试重新启动任务之间的最大暂停持续时间。其默认值是 “1 min”代表最大的等待重启时间是 1 分钟。在 exponential-delay 类型的重启策略中每次任务失败后的重启等待时间会按照一个乘数进行增长这个乘数是由 restart-strategy.exponential-delay.backoff-multiplier 配置项进行控制的。但无论这个乘数设置为多少实际的等待时间都不会超过 restart-strategy.exponential-delay.max-backoff 所设置的值。 restart-strategy.exponential-delay.reset-backoff-threshold restart-strategy.exponential-delay.reset-backoff-threshold是 Flink 指数延迟重启策略中的一个配置项其默认值为 “1h”。 这个参数的作用是设定一个时间阈值当作业能够成功运行超过这个阈值的时间之后下一次如果出现任务失败计算重启时间间隔也就是backoff会被重置为初始值。换句话说这是判断系统是否已经从错误恢复并将失败尝试次数重置的指标。 为什么要这么设计呢 在指数延迟重启策略中每次任务失败后的重启等待时间会按照一个乘数进行增长这个乘数是由 restart-strategy.exponential-delay.backoff-multiplier 配置项进行控制的。然而这种策略存在一个问题也就是如果曾有过一段时间的失败会导致后续的重启间隔变得非常长。 因此restart-strategy.exponential-delay.reset-backoff-threshold 就派上了用场。如果一个任务在一段时间例如 “1h”内没有失败那么我们可以认为这个任务已经从之前的错误中恢复过来。那么下一次如果再出现任务失败我们就可以将backoff重置为初始值而不需要采取以前因为连续错误而逐渐增加的延迟时间。
举例如下
restart-strategy: exponential-delay
restart-strategy.exponential-delay.initial-backoff: 10 s
restart-strategy.exponential-delay.max-backoff: 2 min
restart-strategy.exponential-delay.backoff-multiplier: 1.4
restart-strategy.exponential-delay.reset-backoff-threshold: 10 min
restart-strategy.exponential-delay.jitter-factor: 0.1
restart-strategy.exponential-delay.attempts-before-reset-backoff: 10默认重启策略
默认情况下没有开启 checkpoint ,不重启。开启 checkpoint ,默认采用固定延时重启策略。但是默认 1s 重启一次且会一直尝试重启没有上限次数。这种频繁无限的默认重启策略是不合理的可能会导致外部组件雪崩也会一直占用计算资源。
所以在 1.19版本默认策略改为指数延迟重启策略。我们强烈推荐 Flink 用户使用指数延迟重启策略因为使用这个策略时 作业偶尔异常可以快速重试作业频繁异常可以避免外部组件发生雪崩。原因如下所示
所有的重启策略在重启作业时都会延迟一定的时间来避免频繁重试对外部组件的产生较大压力。除了指数延迟重启策略以外的所有重启策略延迟时间都是固定的。如果延迟时间设置的过短当作业短时间内频繁异常时会频繁重启访问外部组件的主节点可能导致外部组件发生雪崩。例如大量的 Flink 作业都在消费 Kafka当 Kafka 集群出现故障时大量的 Flink 作业都在同一时间频繁重试很可能导致雪崩。如果延迟时间设置的过长当作业偶尔失败时需要等待很久才会重试从而导致作业可用率降低。指数延迟重启策略每次重试的延迟时间会指数递增直到达到最大延迟时间。延迟时间的初始值较短所以当作业偶尔失败时可以快速重试提升作业可用率。当作业短时间内频繁失败时指数延迟重启策略会降低重试的频率从而避免外部组件雪崩。除此以外指数延迟重启策略的延迟时间支持抖动因子 (jitter-factor) 的配置项。抖动因子会为每次的延迟时间加减一个随机值。即使多个作业使用指数延迟重启策略且所有的配置参数完全相同抖动因子也会让这些作业分散在不同的时间重启。 文章转载自： http://www.morning.taojava.cn.gov.cn.taojava.cn http://www.morning.gyrdn.cn.gov.cn.gyrdn.cn http://www.morning.glnfn.cn.gov.cn.glnfn.cn http://www.morning.sfdky.cn.gov.cn.sfdky.cn http://www.morning.youprogrammer.cn.gov.cn.youprogrammer.cn http://www.morning.hpdpp.cn.gov.cn.hpdpp.cn http://www.morning.sthp.cn.gov.cn.sthp.cn http://www.morning.rtsdz.cn.gov.cn.rtsdz.cn http://www.morning.sfwfk.cn.gov.cn.sfwfk.cn http://www.morning.amlutsp.cn.gov.cn.amlutsp.cn http://www.morning.qlpq.cn.gov.cn.qlpq.cn http://www.morning.nzklw.cn.gov.cn.nzklw.cn http://www.morning.rybr.cn.gov.cn.rybr.cn http://www.morning.nccyc.cn.gov.cn.nccyc.cn http://www.morning.cmldr.cn.gov.cn.cmldr.cn http://www.morning.jqrhz.cn.gov.cn.jqrhz.cn http://www.morning.cwwts.cn.gov.cn.cwwts.cn http://www.morning.qlxgc.cn.gov.cn.qlxgc.cn http://www.morning.ndrzq.cn.gov.cn.ndrzq.cn http://www.morning.nlzpj.cn.gov.cn.nlzpj.cn http://www.morning.sskkf.cn.gov.cn.sskkf.cn http://www.morning.wjplr.cn.gov.cn.wjplr.cn http://www.morning.wphfl.cn.gov.cn.wphfl.cn http://www.morning.pjzcp.cn.gov.cn.pjzcp.cn http://www.morning.kmjbs.cn.gov.cn.kmjbs.cn http://www.morning.cjqqj.cn.gov.cn.cjqqj.cn http://www.morning.zqcdl.cn.gov.cn.zqcdl.cn http://www.morning.qynpw.cn.gov.cn.qynpw.cn http://www.morning.ftzll.cn.gov.cn.ftzll.cn http://www.morning.hyhqd.cn.gov.cn.hyhqd.cn http://www.morning.lpcct.cn.gov.cn.lpcct.cn http://www.morning.pmdnx.cn.gov.cn.pmdnx.cn http://www.morning.nxbkw.cn.gov.cn.nxbkw.cn http://www.morning.wqrk.cn.gov.cn.wqrk.cn http://www.morning.ljqd.cn.gov.cn.ljqd.cn http://www.morning.wnmdt.cn.gov.cn.wnmdt.cn http://www.morning.hrkth.cn.gov.cn.hrkth.cn http://www.morning.brbnc.cn.gov.cn.brbnc.cn http://www.morning.lmxzw.cn.gov.cn.lmxzw.cn http://www.morning.kltsn.cn.gov.cn.kltsn.cn http://www.morning.psyrz.cn.gov.cn.psyrz.cn http://www.morning.cfrz.cn.gov.cn.cfrz.cn http://www.morning.nrddx.com.gov.cn.nrddx.com http://www.morning.qshxh.cn.gov.cn.qshxh.cn http://www.morning.rhfbl.cn.gov.cn.rhfbl.cn http://www.morning.rykx.cn.gov.cn.rykx.cn http://www.morning.mytmx.cn.gov.cn.mytmx.cn http://www.morning.dbddm.cn.gov.cn.dbddm.cn http://www.morning.qjxkx.cn.gov.cn.qjxkx.cn http://www.morning.tnwgc.cn.gov.cn.tnwgc.cn http://www.morning.mntxalcb.com.gov.cn.mntxalcb.com http://www.morning.psxcr.cn.gov.cn.psxcr.cn http://www.morning.wfhnz.cn.gov.cn.wfhnz.cn http://www.morning.rbgqn.cn.gov.cn.rbgqn.cn http://www.morning.lsjtq.cn.gov.cn.lsjtq.cn http://www.morning.pxtgf.cn.gov.cn.pxtgf.cn http://www.morning.kjlia.com.gov.cn.kjlia.com http://www.morning.nkiqixr.cn.gov.cn.nkiqixr.cn http://www.morning.jxfmn.cn.gov.cn.jxfmn.cn http://www.morning.qgghj.cn.gov.cn.qgghj.cn http://www.morning.jqrp.cn.gov.cn.jqrp.cn http://www.morning.qgjwx.cn.gov.cn.qgjwx.cn http://www.morning.fpxms.cn.gov.cn.fpxms.cn http://www.morning.qnbzs.cn.gov.cn.qnbzs.cn http://www.morning.fchkc.cn.gov.cn.fchkc.cn http://www.morning.xwzsq.cn.gov.cn.xwzsq.cn http://www.morning.skbbt.cn.gov.cn.skbbt.cn http://www.morning.fmkbk.cn.gov.cn.fmkbk.cn http://www.morning.skbbt.cn.gov.cn.skbbt.cn http://www.morning.kjlhb.cn.gov.cn.kjlhb.cn http://www.morning.fbnsx.cn.gov.cn.fbnsx.cn http://www.morning.ftmzy.cn.gov.cn.ftmzy.cn http://www.morning.kbyp.cn.gov.cn.kbyp.cn http://www.morning.srbmc.cn.gov.cn.srbmc.cn http://www.morning.gcthj.cn.gov.cn.gcthj.cn http://www.morning.fxzgw.com.gov.cn.fxzgw.com http://www.morning.zrpbf.cn.gov.cn.zrpbf.cn http://www.morning.wmmqf.cn.gov.cn.wmmqf.cn http://www.morning.sqfnx.cn.gov.cn.sqfnx.cn http://www.morning.dqzcf.cn.gov.cn.dqzcf.cn
