一、淘宝创新的技术
TFS:淘宝文件系统
07年之前,图片存储使用的是NetAPP的文件存储系统,但未对小文件存储进行有针对的优化 ,且扩容成本高昂,网络连接数经常达到极限;在这种背景下,淘宝研发了TFS。系统部署存储容量:140TB;实际使用存储容量: 50TB;单台支持随机IOPS200+,流量 3MBps。
Tair:淘宝KV缓存系统
04年多隆基于BerkeleyDB开发了TBstore,一个key-value的缓存系统;
07年,多隆参考memcache内存结构,为UIC开发了TDBM,另一个缓存系统;
之后合并这两个缓存,并在此基础上进一步扩展,开发出Tair,底层支持5种存储引(BerkeleyDB、Redis,TT、fDB、memcache) 目前,Tair已开源;
HSF:高性能服务框架
一个分布式PRC框架,用于系统间调用
service定于基于OSGI方式,通讯层采用TCP/IP协议
Notify:消息中间件
分布式消息中间件,用于替代MQ
支持消息订阅、发布和消费
TDDL:淘宝分布式数据访问层
数据访问路由,使得数据访问对应用层的开发透明,一个表的数据可以分布在多台结点上,而应用的编码同操作单节点DB一样; 支持一次写入,多点读取 数据存储的自由扩展, 不再受限单机容量和速度瓶颈。
TbSession框架
Session客户端存储,session存到cookie中
实现分布式环境下的session服务器端存储
session配置统一管理
支持动态更新