Kafka流处理

某一个时间点开始,产生数据,并延伸到时间尽头,无法预测下一条数据何时到达。比如鼠标点击事件clickEvent(x,y,timestamp),就是以时间戳为维度的一个流。理论上,流可以抽象世间万物。高等数学里的级数就是一条完美的流。

stream is everywhere

流包含以下特性

  • 有序。银行帐户操作为例,先存钱再取钱才认为是合法操作。
  • 不可变。当事件发生了就不可能被改变,一个订单取消了不等于订单完全消失了,而是添加一个取消事件到数据流上,记录对先前订单的取消操作。如果你熟悉数据库的binlog的话,你插入一条数据之后再删除它,在数据库里这条数据消失了,但是做主从备份或者数据回滚时,插入和删除操作都保留在log中。在这次一意义上,binlog其实就是一个数据流。
  • 可重复播放(kafka支持)。支持重新处理一个很久以前(几个月或者几年)的流的能力,不管是出于纠错,还是应用新的数据分析方法,还是再次确认分析结果。

三种编程模式

流处理其实是编程模式的一种。

  • 请求-响应模式。超低延迟,几毫秒,往往是阻塞的,发出请求并等待返回结果。
  • 批处理模式。高延迟,高吞吐量。比如hadoop任务在某个时间点被调度,读入大量数据,处理后输出,最新输出都是在下次任务完成之后。
  • 流处理。在前两种模式中取的这种方案。实际应用往往不需要在几毫秒之内返回结果,但也不能容忍隔天的结果反馈周期。

Kafka stream不需要back pressure

流的产生和消费往往是解耦合的(实现上都是异步线程),如果数据消费的速度小于产生的速度,消息在流缓冲区中累积,直到缓冲区溢出。为了解决这个问题就有了back pressure,目的是用来控制流的产生速度。由于Kafka生产者和消费者完全分离,并将消息持久化到磁盘中,相当于一个中间buffer(唯一上限是磁盘空间),当生产者产生消息超过消费者消费时,消息累积到partition末尾,消费者自己维护消费位置的offset,以追赶生产者,Kafka流处理不存在back pressure问题。

streaming

处理流里边的数据和处理其他数据是完全类似的,你首先读数据,然后处理(转换,整合,过滤等等),最后存储到某个地方。然而流处理有它独有的概念来抽象。

时间

比如我们想计算每5分钟的股票平均价格,但是消息的生产者因为网络故障停机了2个小时,当生产者再次重启时,过去两个小时的数据会推送到流中,然而我们的流处理程序已经跑完,结果已经发布。为了避免上述情况,我们应该单独维护流中每一个事件的发生时刻,让分析结果不依赖于流的处理时间,而是由事件产生的时间决定。

三种时间(依次递增):

  • 事件发生时间。最关键的时间,流处理逻辑依赖的时间。比如股票价格变动,发生的时间(时刻),又比如用户提交订单的时间。
  • 存储时间。事件以消息的形式存储在持久化设备的时间。往往与流处理无关。
  • 处理时间。消息被处理时的时间。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,598评论 18 139
  • 姓名:周小蓬 16019110037 转载自:http://blog.csdn.net/YChenFeng/art...
    aeytifiw阅读 34,703评论 13 425
  • 发行说明 - Kafka - 版本1.0.0 以下是Kafka 1.0.0发行版中解决的JIRA问题的摘要。有关该...
    全能程序猿阅读 2,844评论 2 7
  • 看过安徽卫视推出的中国首档原创新锐语言竞技真人秀节目《超级演说家》的人都知道有这样一个女子:她从农村考上北大,从完...
    问蹊阅读 223评论 0 0
  • 曾经我们可以任性的说,我有大把的时间可以浪费,不知不觉我们已经失去了这个资格!
    ZWB宇洋阅读 278评论 0 0