flink 端到端一致性

news/2024/6/16 5:30:32 标签: flink, 大数据

背景

我们经常会混淆flink提供的状态一致性保证和数据端到端一致性保证的关系,总以为他们表达的是同一个意思,事实上,他们不是一个含义,flink只能保证其维护的内部状态的一致性,而数据端到端的一致性需要数据源,flink,数据汇都要满足一定的条件才能完成

数据端到端一致性

数据端到端的一致性保证要比flink内部状态一致性保证严格的多,即使flink内部状态做到了一致性保证,也就是无论在什么情况下,其内部状态都可以做到精确一致的保证,但是如果数据源不支持可重置或者数据汇做不到幂等性或者不支持事务,那么所谓的端到端的一致性也无从谈起,下面这张图可以表明他们的关系
在这里插入图片描述
由上图可知,flink内部状态的一致性保证是端到端一致性保证的其中一个环节,我们通常这里所说的一致性保证是指flink实现的精确一次的语义,如果是至少一次或者至多一次保证,那么flink连自身的内部状态一致性都没法得到保证,就更别提整个端到端的一致性保证了


http://www.niftyadmin.cn/n/5017615.html

相关文章

简单记录一下Splunk ES 升级

1: 背景: 现在有些app 产品对splunk ES (enterprise security) 的版本有要求,这个就要求splunk ES 随着Splunk enterprise 也一起升级,下面先列一下各个版本的兼容: Splunk products version compatibility matrix - Splunk Documentation 下面列出的8.2.11 的版本: 2:…

Unity Asset Bundle Browser 工具

Unity Asset Bundle Browser 工具 您可以在 Unity 项目中使用 Asset Bundle Browser 工具能够查看和编辑资源包的配置。 有关更多信息,请参阅 Unity Asset Bundle Browser 文档。 注意:此工具是不受支持的实用程序。查看极大的资源包可能会导致性能下…

PHP8中获取并删除数组中第一个元素-PHP8知识详解

我在上一节关于数组的教程,讲的是在php8中获取并删除数组中最后一个元素,今天分享的是相反的:PHP8中获取并删除数组中第一个元素。 回顾一下昨天的知识,array_pop()函数将返回数组的最后一个元素,今天学习的是使用arr…

设计模式-桥接模式(Bridge)

文章目录 前言一、桥接模式的概念二、桥接模式的实现三、桥接模式的优缺点1、优点:2、缺点: 前言 桥接模式(Bridge Pattern)是一种结构型设计模式,用于将抽象部分和实现部分分离,使它们可以独立地变化。这…

【Android知识笔记】UI体系(五)

Activity 四种启动模式 standard:默认模式,每次激活 Activity 时都会创建 Activity 实例,并放入任务栈中。 singleTop:如果在任务栈的栈顶正好存在该 Activity 的实例,就重用该实例(会调用实例的 onNewIntent()),否则就会创建新的实例并放入栈顶,即使栈中已经存在该 A…

数据结构和算法(4):栈与队列

栈 ADT 及实现 栈(stack)是存放数据对象的一种特殊容器,其中的数据元素按线性的逻辑次序排列,故也可定义首、末元素。 尽管栈结构也支持对象的插入和删除操作,但其操作的范围仅限于栈的某一特定端。 也就是说&#xf…

第一百三十九回 介绍三个BLE包

文章目录 概要说明具体示例flutter_reactive_bleflutter_blue_plusflutter_ttc_ble我们在上一章回中介绍了图标旁边小红点相关的内容,本章回中将 介绍三个BLE包.闲话休提,让我们一起Talk Flutter吧。 概要说明 在移动开发中使用BLE功能时需要使用平台提供的接口,这些接口与…

Thymeleaf里面将字符串和变量拼接

在Thymeleaf中&#xff0c;您可以使用字符串拼接运算符将字符串与变量拼接在一起。在th:class属性中实现字符串和变量的拼接&#xff0c;可以使用${}语法。 以下是一个示例&#xff1a; <!-- 假设bin.color是一个字符串类型的变量 --> <div th:class"panel pan…