闲聊风控—实时风控番外篇.性能

一、定义

性能:是指实时风控系统从接收到请求,到响应请求的处理时长。当然说到性能,还涉及到吞吐量的问题,这里的性能,特指【分析时长】,不包含吞吐量。

二、问题

那么,在实时风控系统的设计过程,会遇到哪些性能方面的挑战呢?

挑战1:实时风控系统的性能要求很高。实时风控系统要植入于相关的业务系统,又要对业务系统的影响性做到最小,所以对于分析时长就会提出很高的要求,{百MS以内};

挑战2:实时风控系统的分析逻辑复杂。实时风控系统的分析逻辑,不管是基于规则,基于评分,还是基于统计的,从计算的角度,都属于复杂的逻辑运算,从分析的角度来看,是一个CPU密集型的应用;

挑战3:实时风控系统的依赖数据量大。实时风控系统的分析过程,处理处理负责的业务逻辑之外,还依赖于大量的外部数据,比如,如何通过查询海量的历史数据来支撑规则的运算,从分析的角度来看,又是一个IO密集型的应用;

在N年前有过两个概念,OLTP(online transaction processing )和OLAP(online analytical processing),当然现在已经很少提及了,大家现在关注的是大数据、云计算。Google了一下OLTP和OLAP的区别:

OLAP和OLTP比较

如果回到N年前的系统划分标准,实时风控系统到底算是OLTP还是OLAP呢,或者是OLTAP,或者什么都不是?

三、方案

面对上述的这些要求和挑战,该怎么样来设计解决呢?

也许你要说,分布式计算框架啊,从hadoop,到spark,到storm,随便选,保证药到病除,你看那**互联网企业,**社交大亨都在用。那我们来看看,hadoop、spark、storm是个啥?

Hadoop、Spark、Storm,我比较浅显的理解,都是分布式的计算框架。

分布式计算框架实现了什么?简而言之,基于分布式计算框架的应用,就是一个分布式的应用;那么分布式的应用解决了什么问题?简而言之,就是将请求处理的业务逻辑和所需资源合理地分布到N台服务器上。

分布式计算框架带来了什么?除了上面描述的好处之外,也有负面的影响,那就是网络访问的开销,不要忘记,Server之间通讯是有开销的,当然这个开销只是MS级,但别忘记了,我们整个系统的设计目标就是百MS级的;

分布式计算框架解决了什么?从目前情况来看,实时风控系统和大数据的关系,是使用大数据参与分析,而不是处理海量的风控请求,所以从这点来说,用分布式计算框架,有点杀鸡用牛刀了;再来看看实时风控系统的计算逻辑,基本上都是CPU密集型的应用,提升的核心在于算法,以及CPU的计算能力,而不在于需要N多机器一起来协作;

那既然这些高大上的分布式计算框架不能很好的解决问题,那我们该怎么办呢?其实招数不多,都比较土,但很有效:

1、减少磁盘IO:尽量减少一次分析过程中的磁盘IO操作,尽量转换为内存IO操作,祭出一招:缓存。但是要将大量的历史数据装入缓存,确实也是一件劳命伤财的事情。{改天专起个章节来聊}

2、减少网络IO:从伸缩性角度考虑,对于一次分析过程的实现,还是需要分层分块,但是务必在设计时要考虑,一次分析过程的IO访问次数;

3、数据结构和算法:采用什么算法来实现Rule Engine,rete,还是针对应用特点,实现改良性的rete;如何在规则的运算和规则的命中之间找到一个平衡;采用哪个查找算法效率最高;内存的存储如何保证存储空间和访问效率的平衡,等等;

4、硬件资源的配套:针对实时风控系统的特点,对于规则分析模块,是个CPU密集型的应用,而对于缓存模块,是个内存型的应用,那么在硬件资源的配备上,应该根据应用的特点,选择合适的资源;

还有,其它~5、6、7、8~

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容