CDN出现之前的网站服务技术
- Scale up/Scale out
Scale up:提升服务器硬件配置，无效解决远距离传输的质量问题，需要对整个系统进行硬件升级，灵活性和可扩展性差。
Scale out：服务器集群
- Mirroring
镜像通常用来备份，应用于镜像网站，对整个网站中的内容进行镜像复制，进行多点部署。用户在访问网站时，自主选择速度快的站点，降低主站的负载。
实现方法：镜像服务器安装可以自动远程备份的软件，间隔一定时间，会向源服务器获取最新内容。
优：对主站用户分流，应急备份
劣：用户选择具有盲目性，不能时刻起到就近服务；成本较高，对于源站完全复制。
- 缓存技术
CDN技术就是缓存技术的分布式实现
把访问过的媒体数据进行存储，重复使用。
分层缓存部署：在不同物理层部署多台缓存服务器，上层缓存作为下层缓存的内容存储器，为下层缓存供应所需内容。向用户提供服务的下层缓存向上层缓存服务器提供所需内容，而不是从源站请求。
优：用户获得内容的时间短，分担主站压力
Cache 设备原理及代理
Cache设备分为Web-cache和流媒体Cache两类。
Web-cache用于普通网页的内容缓存，也提供一定的流媒体、下载支持。
流媒体Cache用于对视频流媒体进行加速，功能单一。
在一次网页访问的过程中，通常是这样的：用户->代理->网关->web服务器。Web-cache设备通常部署在这条访问的路径上，通过正向代理、透明代理的模式，应用最多的地方在网关上。
代理相关软件推荐：squid(开源)，nginx(开源)，
(内网安全行为审计也是基于此原理，主要指的是透明代理)
正向代理(Forward proxy)
用户需要自行设置代理地址为Web-cache服务器地址，用户对互联网的网络访问全部通过这个代理地址访问。正向代理支持冗余配置，保证系统的稳定性。(通常提到代理，默认指正向代理)
| User | proxy device | web server |
|---|---|---|
| [src:user ] | [src:user ] | [src:proxy device ] |
| [dst:proxy ] | [dst:gateway ] | [dst:local ] |
| [req:www.baidu.com] | [req:www.baidu.com] | [res:index.html] |
动态描述：User配置好代理设备IP并发起网络访问后，所有的数据流量都会经过Proxy device的审核，检测代理缓存是否含有User所需的数据，如有直接返回相应数据，若无，则向serverIp获取信息，并由proxy device返回给User。
- 正向代理的应用
User无法直接访问web server，需要使用proxy，“Over Wall”就是这个道理
加速访问web server,一些游戏加速器就是这个道理
内网用户鉴权，就是上文提到的内网行为审计
保护访问路径，通过proxy做跳板访问web server不显示User所在ip，“”肉鸡”就是这个道理
Cache缓存设备，细节同动态描述
反向代理(Backward proxy)
反向代理无需User设置，反向代理中的Cache device 地址作为被访问站点的服务器地址，写入了DNS列表，用户无法感知，对于用户透明。区别于正向代理的地方是反向代理仅能对特定站点进行加速，内容分发。多用ISP/ICP和运营商环境，增加User访问速度和提高满意度。当网络中Cache设备数目较多时，需要引入GSLB设定内容分发策略，对全网Cache节点进行负载均衡，
| User | DNS server | proxy | web server |
|---|---|---|---|
| src:local | src:local | ||
| dst:DNS server | dst:usr | ||
| req:who's www.baidu.com | res:proxy address | ||
| ---- | ---------- | ----- | --------- |
| src:local | src:user | ||
| dst:proxy | dst:"web server"or local | ||
| req:Get index.html | res:index.html |
特点：主站服务器只与代理cache设备内容交换，不与User直接通信。cache设备的作用是提供负载分担，安全隔离。对于CDN技术来说，智能DNS也是很关键的技术。
透明代理(Transparent proxy)
User无需配置代理，cache设备为指定用户服务有两种办法：a.user路由设备支持WCCP协议，会将指定用户流量转发至cache设备。b.利用四层交换机对指定用户进行流量转发。
| User | proxy | web server |
|---|---|---|
| src:local | src:User | src:gateway |
| dst:web server | dst:web server | dst:local |
| req:Get index.html | req:Get index.html | res:index.html |
特点：User无察觉代理审计，直接对数据包进行修改，可对用户鉴权，再决定是否回应相关数据包给user。(透明代理可以截获用户数据，完成安全认证及访问控制)
web cache 实现关键
- Web-cache 相当于中间人，原本一次点对点的http请求，可能变成多次http请求，实现HTTP协议能力和缓存工作。
- 根据不同应用场景来确立相应策略，主要针对性能和业务。可以从以下方面考虑：
并发连接数量、并发流量大小、存储空间大小、cpu处理性能及缓存大小；
web cache对数据的分析、过滤和安全保障。 - 面向运营商的Web-cache要求比面向web站的要高很多。
原文: http://www.chieh.cc/posts/tech/2016-04-19-2016-04-19-Web-Cache-原理及代理方式.html 作者: Chieh
