听风辨器,神功护体——IT运维人员的九阳神功(中)

今天恰逢2020年下半年第一天。2020太难了,上半年忙着见证历史,人人都不易。希望大家保持乐观,下半年一切都会好起来!

言归正传,继续说运维。修炼至此,大家都已具备九阳神功前三重的功力,浪迹IT江湖三十年的融哥带大家继续乘风破浪、精益求精。

页面打不开、系统卡顿、应用宕机……每天IT运维人员被各种飞来横祸困扰,如六大派狠人围攻光明顶。要想搞定业务运行过程中的种种问题,你必须变成一个小号的魔教教主,打通任督二脉、调动全身功力,方能转危为安,世界和平。

九阳神功第四重:缩骨大法

他心中只一个念头:“这小子比我高大,他能钻过,我当然更能钻过。”想法原本不错,只是有一点却没料到:张无忌已练成了九阳神功中的缩骨之法。——《倚天屠龙记》

缩骨大法者,化大为小,小中见大,见微知著也。

魔鬼往往在细节中。对于业务系统的监控,基本的监控粒度有多大,决定了故障定位的精度。上一期融哥曾经给大家讲过监控系统的数据来源,以旁路镜像数据流为最佳选择,数据流中全部业务系统之间的数据流纠缠在一起,剪不断理还乱,必须化大为小,从大的数据流中拆分一个个小的逻辑对象,才能锁定真正的问题。

举个例子,上面是一个的典型银行应用。

粗看起来,每分钟2000笔的交易量,平均响应时间100ms,成功率90%,响应率90%,看起来还不错。大部分业务监控系统,只能做到这一步了。

但如果我们细看不同的渠道发出的请求,就会发现,应用细分为网银、柜面、第三方支付和理财平台四个部分,其中前三个是正常的,但理财平台的成功率和响应率都只有10%,已经是严重故障了。

因为理财平台的这200笔交易,只占了总交易量的10%,问题被其他交易掩盖了。如果这些细微的隐患不及时发现,以后会逐渐演变为更大范围、更严重的问题。

这就是细化监控对象、化大为小、见微知著的价值所在。作为一个运维人员,必须练就一双慧眼,有一套神器,方能及时杜绝小隐患引发的大麻烦。

运维人员使用的软件工具,必须具备细分监控对象的能力。华青融天的EZSonar系统(鹰眼),一个重要特点就是微监控,在数十家金融机构得到广泛应用。

九阳神功第五重:龟息大法

这乾坤一气袋密不通风,他在袋中耽了这许多时候,早已气闷之极,仗着内功深湛,以绵绵龟息之法呼吸,需气极少,这才支持了下来。——《倚天屠龙记》

融哥听说有气长命长之说,龟一次呼吸45秒一般寿命500年,人一次呼吸5秒一般寿命80年。要是看见一个人大口喘气,上气不接下气,估计离挂掉不远了。

所谓龟息大法,就是内功高手对生命节奏的掌控。从容淡定,方能应付裕如、行稳致远也。

作为一个IT系统的运维人员,最重要的就是不要让自己被虚假的无意义的信息淹没,忙的四脚朝天,反而忽视了重要的问题。我们经常看到,大量软硬件平台和应用系统不断发出告警信息,快速刷屏,在这种情况下,如何对告警进行高效的精准处理,分级、压缩和降噪,去伪存真,及时识别真正的故障和隐患,就是最重大的课题了。

第一是减少误告警。比如,某一时刻交易量突然降低,但只是暂时性波动,很快又恢复正常,这种异常是没必要告警的。有些批处理也可能导致某一刻交易量突发,这种也属正常情况,往往也不需要告警。

第二是准确把握业务的正常规律,精准地对异常业务流发出告警。这张图显示了对交易量的监控,利用大数据和机器学习技术,根据历史数据产生动态基线,以基线来反映正常交易量的规律,如果真实的交易量与基线的差异过大,则说明发生了异动,此时才触发告警,避免误告警的发生。

第三是提升每一个告警的有效性,减少告警数量和频次,通过告警关联功能找出事件之间的联系,去除告警杂音,让告警更加精准有效。

凡此种种,在告警的处理上要寻找一种平衡,通过智能的算法,反映实际业务的规律和异常事件间的关系,不漏报不误报,让运维人员应对从容。这就是华青融天EZSonar强调的“轻告警”。

九阳神功第六重:壁虎游墙

赵敏笑道:“张公子,你的壁虎游墙功当真了得,这陷阱是纯钢所铸,打磨得滑不留手,连细缝也没一条,你居然游得上去!”——《倚天屠龙记》

一说到墙,干运维的同学们就乐了。我们习惯什么都上墙,有什么话咱对着墙说。融哥在运营商工作十多年,参观运营商总部的保留项目就是去看运维中心的大墙,几十块大屏,全部专业网络运作情况一目了然,尽收眼底,极具视觉冲击力。

如今的墙更是今非昔比,不仅可视化效果美轮美奂,实时性也可以达到秒级,网络、服务器和应用的问题,第一时间上墙。数字和红绿点线游动跳跃,如同壁虎游墙。

不用多解释,可视化做的好,各种实时数据集中直观地显示,是大屏的最大优点,领导喜欢我也喜欢。一般都是从大屏发现了问题,才一步步向下钻取,挖掘到问题的根源,所以一块丰富而直观的大屏、实时性的数据展现、随心所欲的视图定制、方便快捷的钻取功能,是每个运维人员的梦想,也是衡量一个监控系统好坏的关键。

行文至此,九重神功说到了三分之二,后事如何,且听融哥下回分解。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容