storm简介

Storm:Apache Storm is a free and open source distributed realtime computation (实时计算)system. Storm makes it easy to reliably process unbounded streams of data(海量数据流的可靠的处理), doing for realtime processing what Hadoop did for batch processing. Storm is simple, can be used with any programming language, and is a lot of fun to use!

Twitter开发 类似于Hadoop的实时处理框架

storm的官网 storm.apache.org

storm核心代码是由Clojure语言写的,Clojure语言既能面向对象编程,也能面向函数式编程,也是基于JVM。

Storm的应用场景

Storm has many use cases: realtime analytics(实时分析), online machine learning(在线机器学习), continuous computation(持续的计算), distributed RPC(分布式RPC), ETL(数据清洗), and more.

 Storm is fast: a benchmark(标杆) clocked(时控) it at over a million tuples processed per second per node. It is scalable(可扩展), fault-tolerant(容错), guarantees your data will be processed, and is easy to set up and operate(保证数据被处理,易于被设置和操作).

1)交通部门,监控高速路上超速车辆

2)电商网站,类似于淘宝的大屏(顺序累加)

3)京东/一号店的实时推荐(协同算法,用户标签(画像))

4)告警系统

5)金融:实时去判断交易不是欺诈行为(涉及机器学习)

6)实时监测网站有没有遭受攻击

storm实时,吞吐量小

Hadoop离线,吞吐量大

处理过程:Hadoop是Map和reduce阶段,Storm分为Spout和bolt两个阶段。

是否结束:Hadoop最终会结束,storm没有结束状态

处理速度:Hadoop处理TB级别数据,处理速度慢;Storm处理的是某一笔新增的数据即可,处理速度快。

使用场景:Hadoop使用的是批处理,主要用于不讲究时效性的项目;storm适合讲究时效性的项目。


Storm与Mapreduce1对比

MapReduce:主要用来处理高延迟的作业,主节点叫做JobTracker,从节点叫做TaskTracker;运行时作业分两种类型:Map,Reducer

Storm主要用来处理低延迟的作业,主节点叫做Nimbus,从节点叫做SuperVisor。用户提交作业给Nimbus,Nimbus把任务分配给SuperVisor,这些提交的任务叫做Topology(拓扑)。运行时作业分两种类型:Spout,bolt


Storm运送数据依靠stream(水流)

5号线地铁->stream

车厢->tuple

乘客->数据

乘客要上下车->topo任务

起始站->spout

中间站和终点站->bolt

storm处理数据过程

第一个案例:需求:求数字1-9累加和

Spout的任务:生成数字1-9并发射(emit)

bolt的任务:根据fields名称获取数字,进行累加

运行:main方法:new TopologyBulider(),setSpout,setBolt


nohup storm nimbus >  /dev/null  2>&1 &:表示将标准输出和错误输出都输出到/dev/null目录中进行回收,1表示标准输出,2表示错误与输出,默认是1:标准输出

storm的UI界面地址:host:8080

ps -ef | grep java | awk '{print $1, $2}'

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,793评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,567评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,342评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,825评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,814评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,680评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,033评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,687评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,175评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,419评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,020评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2 343

推荐阅读更多精彩内容

  • Date: Nov 17-24, 2017 1. 目的 积累Storm为主的流式大数据处理平台对实时数据处理的相关...
    一只很努力爬树的猫阅读 2,156评论 0 4
  • 原文链接Storm Tutorial 本人原创翻译,转载请注明出处 这个教程内容包含如何创建topologies及...
    quiterr阅读 1,603评论 0 6
  • 作者:王渊(2017年4月2日) 题记____ 人性就像一条小溪,在泛着清澈浪花的同时,也翻着垃圾…… 这几年...
    仁者无敌简书阅读 235评论 0 1
  • 图上不难发现一只脚穿了袜子,一只没有。另外一只下了出租去等候室的路上掉了,因为已经进站所以没回头找。嗨皮...
    嗨Pi麻阅读 183评论 0 1
  • 不知道从何时起,我开始了读书的历史,刚开始只是好奇,但当我看完人生中第一本书《鲁宾逊漂流记》后,我仿佛看到了...
    十月桂花开阅读 271评论 0 0