我公司的技术架构演化(一)应用层架构

我伴随公司走了4年了,我觉得有必要把我这四年来经历的技术架构的演进沉淀下来分享给大伙,里面有些内容不一定100%准确,因为有些已经记不太清楚了,如有偏差,请反馈给我哈,谢谢。

这个是我们早期的样子,17年2月份,我进入公司,那时候只有一个大的工程,里面大概有12个子工程;当时的工程是有服务化思维的,因此,采用了dubbo做服务化的隔离(用户、商户、报名单、岗位、青团宝)。dubbo的上层是web层,采用springMVC的框架进行入参处理。

这套有一个比较头痛的问题就是打包问题,当时的团队还没有将dubbo拆分到不同的工程中,这就出现了两个问题:

  1. 代码库没有隔离,导致大伙还是要在一个工程里开发,分支无数。
  2. 打包的容错率极低,只要任何一个项目有问题,打包都会失败;这是因为这12个工程都依赖一个大的parent配置。
image.png

于是,我们做的第一件事儿,就是将服务化拆分;通过把工程分开,把组织架构明确,每个人只维护自己的工程,迭代的效率当然也提高了不少。虽然应用架构被很好的剥离了,但我们又面临另一个问题,数据库是都放在一起的;这会直接导致

  1. 早期的RDS的监控功能不多,我们也没有开启日志,不能查看全量的sql(因为穷,得省着点花)。
  2. 早期的sql写的很差,甚至索引建的都是错误的;因此,全屏飘着慢sql,你都不知道CPU彪起来是哪个业务干的。
image.png

为了解决这个问题,我们继续拆分了DB,将DB隔离开,解决了业务之间因为慢sql影响的问题,但没有解决慢sql本身(后面有详解)。但分开之后,我们面临一个问题,就是级联查询没法用了面对运营跑sql的需求,我们得要写很多脚本,这极大程度增加了我们的工作难度。我们想了集中解决方案:

  1. 用ES来承接数据,做信息聚合操作,但问题一个是ES的成本在阿里云上太高了,我们用不起;另一个是ES的DSL学习成本也很高,有一些查询写不出来。
  2. 将所有实例的数据,通过binlog导入到一个实例中,这个带来的问题是,需要搭建一套canal,并要开发一套消费逻辑。
  3. 用数据工具将数据直接导入,例如:datax这种开源中间件。
image.png

我们基于阿里云,选择了方案3,通过云上的dts(数据传输工具),来将多实例汇总到一个实例中,我们基于这个实例开发整个的后台和数据中心功能。我们这套数据库体系跑了一年,还是比较稳定的,大概是在第二年才慢慢出现了一些瓶颈(后续阐述)。

image.png

随着我们迭代越来越快,我们爆发了另一个问题,就是当一个dubbo的接口做了更新的时候,没有意识去通知对方,直接导致系统报错。理论上,dubbo的接口一般是开闭原则,并不支持你在上面更新。但实际上业务在早期的时候的变化是非常快的,表的DDL变更相当频繁,如果每次都新追加接口,系统维护的成本会非常大,而spring cloud的http的接口,在接口的字段的增加和删除方面,有天然的支持。

另一方面,团队要快速扩招,那时候的我们没有钱,我们无法给出很有竞争力的薪资来招募那些能力很强的人。而dubbo这时候就显得很笨重,不仅要学会springMVC这一套,还要学习dubbo的服务化生态,学习成本十分高;因此,我们做了一个决定:把dubbo全面过度到springcloud体系上去。当然这件事儿,我们是一步步做的:

  1. 建立springcloud注册中心eurika,新的应用统一用cloud来写。
  2. 老的项目,如果调用新的,通过cloud客户端去调用。
  3. 将老系统由下往上梳理,下层提供全套cloud接口,上层一个个切换,这个阶段过程中是很痛苦的,因为整个系统体系中,cloud和dubbo是并存的,这里面我们踩了很多坑,比如dubbo重启的时候,eurika还没有摘掉,导致访问报错等。
image.png

这里顺便提一句,因为在cloud体系内,对内部和外部提供的接口,我们用的都是一套;那如何区分内部和外部的接口呢,我们是通过/cloudService/***加这么一个前缀,然后通过nginx来判断前缀,阻断外网IP访问的。这里有一些细节,为什么要阻断呢?因为内部接口和外部的接口的差异很大,外部接口要承载DDOS→WAF→网关的三层保护,还要有用户的token校验等;而内部接口天然保持信任,并没有很多校验。如果你把内部接口暴露到外网上,那等于你把家门给拆了,谁都能进来。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,839评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,543评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,116评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,371评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,384评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,111评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,416评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,053评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,558评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,756评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,324评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2 345

推荐阅读更多精彩内容