YARN调度策略大揭秘

YARN调度策略,即存在于resourceManager中, 主要为了进行资源的调度。一共有三大类调度器,分别是FIFO、 Capacity Scheduler和Fair Scheduler。 Hadoop2.9.2默认的资源调度器是Capacity Scheduler。

下面,我们依次来介绍这三种调度器。

1. FIFO(先进先出调度器)

先进先出的调度器,一般很少有人使用,其特性是当一个任务请求发来后,如果使用FIFO调度器,按照任务到达时间排序,先到先服务,即将YARN集群中所有的资源全部调集过来,交给当前这个任务来运行, 后续的任务由于没有的资源,只能等待上一个任务执行完成。

好处:运行一些较大任务可以得到更多的资源。

弊端:任务的优先级只简单按照时间来排序,没有考虑更多条件,若是这个较大的任务,需要执行2小时,但是后面的小任务只需要执行1分钟就搞定,但由于上一个任务没有执行完成后,第二个必须先等待2小时。

2. Capacity Scheduler (容量调度器)

Apache Hadoop默认使用的调度策略。 Capacity 调度器允许多个组织共享整个集群,每个组织可以获得集群的⼀一部分计算能力。通过为每个组织分配专门的队列,然后再为每个队列分配一定的集群资源,这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。除此之外,队列内部又可以垂直划分,这样一个组织内部的多个成员就可以共享这个队列资源了,在一个队列内部,资源的调度是采用FIFO先进先出策略。

好处:支持多队列共享集群资源,即可以并行的运行多个MR的任务。

弊端:如果A队列中某一个大的任务将其他的队列中资源给占用了,此时B 或者 C队列的资源就会减少,若是此时B 、C任务比较多,则先去找占用资源的队列,归还资源,如果占用资源队列,没有执行完,则会一直占用着,因此会存在阻塞等待的现象。

3. Fair Scheduler(公平调度器)

Fair调度器的设计目标是为所有的应用分配公平的资源(对公平的定义可以通过参数来设置)。CDH版本的hadoop默认使用公平调度器。

公平调度也可以在多个队列间进行工作。例如,有两个用户A和B,他们分别拥有一个队列。当A启动一个job,而B没有任务时,A会获得全部集群资源;当B启动一个job后,A的job会继续运行,不过,片刻之后,两个任务会各自获得集群的一半资源。如果,此时B再启动第二个job,并且其它job还在运行,则它将会与B的第一个job共享B这个队列的资源,也就是说,B的两个job会用于四分之一的集群资源,而A的job仍然用于集群的一半资源,结果就是资源最终在两个用户之间平等的共享。

好处:任务动态公平分配资源。

弊端:相对其他调度器复杂。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,980评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,178评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,868评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,498评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,492评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,521评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,910评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,569评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,793评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,559评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,639评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,342评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,931评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,904评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,144评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,833评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,350评论 2 342

推荐阅读更多精彩内容