大型互联网应用系统的特点
1.高并发,大流量。如淘宝双十一活动
2.高可用。系统7*24小时不间断服务,保持服务的高度可用性
3.海量数据。需要存储,管理海量数据,需要使用大量服务器
4.用户分布广泛,网络情况复杂。如国内,各个运营商网络互通难
5.安全环境恶劣。容易被黑客攻击
6.需求快速变更,发布频繁。互联网产品快速适应市场,满足用户需求,其产品发布频率是极高的
7.渐进式发展。好的互联网产品都是慢慢运营出来的,不是一开始就开发好的。
大型网站架构演化发展历程
大型网站的技术挑战主要来自于庞大的用户,高并发的访问和海量的数据。
初始阶段
小型网站最开始没有太多人访问,一台服务器绰绰有余
应用程序,数据库,文件等所有的资源都在一台服务器上
应用服务和数据库分离
三台服务器:应用服务器,文件服务器,数据库服务器
应用服务器需要处理大量的逻辑,所以需要强大的CPU
数据库服务器需要快速磁盘检索和数据缓存,所以需要更大的内存和更快的硬盘
文件服务器需要存储大量用户上传的文件,所以需要更大的硬盘
使用缓存改善网站性能
随着用户量逐渐增大,数据库压力太大导致访问延迟,进而影响网站的性能。网站访问特点和现实世界的财富分配一样遵循二八定律:80%的业务访问集中在20%的数据上。所以我们可以把这一小部分数据缓存在内存中,从而减小数据库的访问压力。
缓存分两种:缓存在应用服务器上的本地缓存和缓存在专门的分布式缓存服务器上的远程缓存。本地缓存访问速度更快,但受制于服务器内存,远程分布式缓存可以使用集群的方式,部署大内存的服务器作为专门的缓存服务器,理论上可以做到不受内存容量限制的缓存服务
使用应用服务器集群改善网站的并发处理能力
使用缓存后,数据访问压力得到有效缓解,但是单一应用服务器能够处理的请求连接有限,在网站访问高峰期,应用服务器成为整个网站的瓶颈
对于网站架构而言,只要能通过增加一台服务器的方式改善负载压力,就可以以同样的方式持续增加服务器不断改善系统性能,从而实现系统的可伸缩性。
通过负载均衡调度服务器,将来自用户浏览器的访问请求分发到应用服务器集群中的任何一台服务器上,如果很更多的用户,就在集群中加入更多的应用服务器,使应用服务器的负载压力不再成为整个网站的瓶颈。
数据库读写分离
使用缓存后,仍有一部分的读操作(缓存访问不命中,缓存过期)和全部的写操作需要访问数据库,用户达到一定规模后,数据库因为负载压力过高会成为网站的瓶颈。
利用主流数据库自带的主从热备功能,通过配置两台数据库主从关系,可以将一台数据库服务器的数据更新同步到另一台服务器上,网站利用数据库这一功能实现数据库的读写分离,从而改善数据库负载压力
应用服务器在写数据的时候,访问主数据库,主数据库通过主从复制机制将数据更新到从数据库,这样当应用服务器读数据的时候,就可以从数据库获得数据
使用反向代理和CDN加速网站响应
网站业务不断发展,用户规模越来越大,由于中国复杂的网络环境,不同地区的用户访问网站时,速度差别极大,为了更好的用户体验,需要加速网站的访问速度,主要手段有使用CDN和反向代理
(通常的代理服务器,只用于代理内部网络对Internet的连接请求,客户机必须指定代理服务器,并将本来要直接发送到Web服务器上的http请求发送到代理服务器中)
(反向代理服务器接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端)
CDN(内容分发网络)和反向代理的基本原理都是缓存,区别在于CDN部署在网络提供商的机房,使用户在请求网站服务时,可以从距离自己最近的网络提供商机房获取数据
而反向代理则部署在网站的中心机房,当用户请求到达中心机房后,首先访问的服务器是反向代理服务器,如果缓存着用户请求的资源,就将其直接返回给用户
使用分布式文件系统和分布式数据库系统
分布式数据库是网站数据库拆分的最后手段,只有在单表数据规模非常庞大的时候才使用。不到万不得已的时候,网站更加常用的数据库拆分手段是业务分库,将不同业务的数据库部署在不同的物理服务器上
使用NoSQL和搜索引擎
随着业务越来越复杂,对数据存储和检索的需求也越来越复杂。
业务拆分
大型网站为了应对日益复杂的业务场景,通过使用分而治之的手段将整个网站业务分为不同的产品线,分归不同的业务团队负责。
各应用之间可以通过一个超链接建立关系,也可以通过消息队列进行数据分发,当然最多的还是通过访问同一数据存储系统来构成一个关联的完整系统。
分布式服务
随着业务拆分越来越小,存储系统越来越庞大,应用系统的整体复杂度呈指数级增加,部署维护越来越困难,且如果服务器数据过多,各种连接关系会很复杂,数据库连接资源不足,拒绝服务。
每一个应用系统都需要执行许多相同的业务操作,比如用户管理、商品管理等。那么可以将这些共用的业务提取出来,独立部署。由这些可复用的业务连接数据库,提供共用业务服务,而应用系统只需要管理用户界面,通过分布式服务调用共用业务服务完成具体业务操作。