大型电商网站架构演变之路(二)

上一篇讲了如何搭建一个中型的电商网站以及背后的架构是什么样的,今天我们一起来聊下大型电商网站的架构是什么样子的。

架构演变之五:webserver集群

对于大型电商网站来说,随着用户数量的猛增上面提到的方法也已经不能够支撑起业务的发展,对于一个中型或大型的电商网站来说用户数量至少都是在千万级别,每天的订单量至少是在十万或者百万级别,而且电商的一大特点是大促期间的请求量一般是平时的10倍,甚至几十倍。像国内每年的双十一、618这种大促期间订单量至少都是要翻10倍以上,尤其是双十一的零点那一瞬间,并发的请求量可能是平时的百倍,针对这种业务场景,对于我们电商网站的架构提出了比较高的要求,性能上要能够支持高并发,稳定性上要求至少在99.9%,最重要的是要能够支持良好的扩展性,在每次大促之前不需要修改太多的代码,只是通过运维的部署加减机器就可以灵活的进行扩展。下面我们来介绍下如何设计web集群的架构。

之前我们介绍的架构中,webserver都是耦合的,这种高耦合的结构不适合做成集群,我们需要把webserver的架构设计成分布式的,这样才可以有比较好的扩展性,这对业务层的实现也提出了比较大的挑战,业务层的实现需要考虑怎么样进行解耦,业务模块之间可以独立开发,可以进行部署。例如,商详相关的业务逻辑作为一个独立的领域,下单相关的流程作为一个独立的领域,这样这两部分就是进行独立开发,调用方式以接口的方式进行,只要对外提供的接口不变,领域内的逻辑自己随时可以改变,相对比较灵活,并且部署的时候也可以不同领域进行独立的部署。这种方式webserver这一层就可以做成集群,当大促的时候,可以比较灵活的进行扩展。但是这里面有一些问题需要大家一起思考。

如何让访问分配在多机器上,这个时候通常会考虑的方案是Ngnix, Apache自带的负载均衡方案(mod_proxy),或LVS这类的软件负载均衡方案;或者DNS轮询,硬件四层交换(交换机实现)等;

如何保持状态信息的同步,例如用户session等,这个时候会考虑的方案有写入数据库、写入存储(如cache)、cookie或同步session信息等机制等;

如何让上传文件这些类似的功能继续正常,这个时候通常会考虑的机制是使用共享文件系统或专用存储等。

架构演变之六:分库分表

进行了webserver的集群后,webserver这一层有着比较良好的扩展性,但是DB这一层还是单点,一台DB,如何提升DB这一层的性能?下面来给大家介绍一种常见的解决方案:分库分表。

一台DB的连接数与存储数量都是有上限的,对于中型或者大型电商应用来说势必要进行分库或者分表的选择。比如,电商的会员数据,对于稍微有些规模的电商网站来说都是在千万级甚至上亿,如果将这些数据只放在一张表里或者一个库里,那么查询和读写的性能一定会受到影响。Mysql单表的性能也是有上限的,笔者建议Mysql的单表不要超过千万级,不然查询性能会受到影响,也会遇到大量频繁读写一张表的情况,如果再有事务,这时候很可能面临锁表的问题。所以当存储数量到达一定级别,进行分库分表是比较好的选择。像上文提到的会员数据,可以按照一定的规则进行存储,比如按照用户的QQ号进行进行分库分表。每个数据库存储300万用户,每个数据库15个表,每个表20万用户,后面可以随着数据量和访问量增加时,可以再分解。在数据访问层使用路由表对数据进行定位。

分库分表更多是业务上的划分,技术上涉及到的会有动态hash算法等,在实际场景中分库分表是通过框架来实现的,比如,通过增加一个通用的框架来实现分库分表的数据访问,这个在ebay的架构中对应的就是DAL(Data Access Layer),目前国内的大型或者中型电商公司也基本都有自己的这一层框架来实现。DAL涉及到比较多的复杂技术,例如数据库连接的管理(超时、异常)、数据库操作的控制(超时、异常)、分库分表规则的封装等

架构演变之七:进入大型分布式应用时代

当你的网站再上一个规模的时候,每天百万级订单,千万UV,PV上亿,就需要进入大型分布式应用的时代,也是目前大型电商所采用的架构。这时候你将面临更严峻的挑战。

l分布式应用的协作(网格计算,云计算);

l分布式应用造成事务性实现难度几何级数增加;

l分布式应用的部署,维护,升级难度海量数据的维护甚至带宽,存储开销,电费都会成为巨大挑战。

解决的方案大家也基本殊途同归:

l一个高性能、高稳定,支持分布式事务的应用框架

l应用依赖管理、运行状况管理、错误追踪、调优、监控和报警,快速排错和硬件替换

l面向分布式应用和海量数据 MapReduce和BigTable

l采用大量的廉价机器来支撑着巨大的访问量和数据量

这里面提到的每一点都有着巨大的挑战,在京东、阿里这种级别的企业里面有成百上千人在一起协助努力解决上面的问题。这是需要团队的力量,大公司的技术总监们做的基本就是根据公司目前所处的不同阶段,为公司选取合适的架构,并不是所有的公司都需要搭建出一个大型分布式系统出来,这要根据公司当前的发展阶段来判断什么样的架构是最适合的。当一个公司处于初创阶段,每天只有几百单,这个时候技术需要做的是能够满足当前业务的性能,并且还是能够帮助业务快速的试错,那么这个阶段就不需要考虑什么分库分表,这样会增加技术实现的复杂度,势必就会对业务响应变慢。

写在最后,没有最好的架构,只有最适合的架构!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,165评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,503评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,295评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,589评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,439评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,342评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,749评论 3 387
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,397评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,700评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,740评论 2 313
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,523评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,364评论 3 314
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,755评论 3 300
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,024评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,297评论 1 251
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,721评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,918评论 2 336

推荐阅读更多精彩内容