网络层缓存的思考(成长中的XDNetworking)

前言

最近一直在思考一个问题,网络层的要如何设计?

纯粹的网络层

何为纯粹呢?就是服务器返回什么数据,回调给业务层就是什么数据。因为我发现有些基于AFNetworking封装的网络框架耦合太多业务的东西,例如他们返回的数据都是经过处理,很多人都直接转化为模型数据返回。
设计一个App整体架构的时候,我倾向于各层次分明,网络层就纯粹做网络请求,持久层就纯粹做强业务的数据的增删查改,业务层就纯粹做与业务相关的东西,各层之间通信不是直接耦合,而是通过构建中间层来实现,例如业务层与网络层之间夹着Service层,业务层与持久层之间夹着DataManager层。说回到我们的网络层的设计,我的思路就是He gives me what,I give you what。

缓存问题

引用iOS程序犭袁的一篇文章iOS网络缓存扫盲篇--使用两行代码就能完成80%的缓存需求的观点,缓存按功能可以分为两种:优化型缓存和功能型缓存。优化型缓存,可以类比浏览器的缓存,它的好处就是减少相应的延迟、减少网络的带宽消耗、更好的用户体验(用户不用空等菊花转),这种缓存是网络层设计需要考虑的;而功能型缓存主要做离线缓存,这是持久层设计需要考虑。
其实苹果已经帮我们提供一个缓存解决方案:NSURLCache,他依赖于HTTP的缓存机制,但是他并不是100%完美的:
1、只支持GET请求的缓存,有时候我们也会用POST请求获取数据,然而这部分数据就无法使用NSURLCache进行缓存;
2、不够灵活,所有缓存都存储在同一个文件(记得好像是sql文件,如果有错,大家指正一下),不能分别指定每一个文件缓存的位置;
3、不能指定缓存淘汰策略;

重复请求问题

为了刷新数据或者加载更多数据,用户会触发上下拉刷新,当网络状态不好的时候,用户可能会不断地去刷新,这样会触发很多个重复的网络请求,回调逻辑会触发很多次,不作处理的话,不仅会浪费用户流量,还会造成数据错乱(数据列表存在很多重复的数据)。

原有的AFNetworking没有提供直接的方法解决上面的问题,所以我在AFNetworking3.0的基础上做了一层封装,XDNetworking就此诞生。

成长中的XDNetworking

XDNetworking是集约型的网络框架,发起网络请求集中在一个类上,统一管理,适合中小型的项目,需要对网络请求进行更加细致的配置和管理,这个网络框架可能不太适合,这种需求需要一个离散型的网络框架做支撑。下一版的计划就是将XDNetworking转化为一个离散型的网络框。大家敬请期待。

框架结构

框架结构
框架结构

XDNetworking:提供调用的API
RequestManager目录:存放请求管理相关的类
Cache目录:存放缓存管理相关的类
AFSourceCore目录:存放AFNetworking的源码

API设计

API面向业务更加友好,回调方式采用block,基础功能包括GET、POST、下载、单文件上传、多文件上传、请求管理、缓存管理

GET

+ (XDURLSessionTask *)getWithUrl:(NSString *)url
                  refreshRequest:(BOOL)refresh
                           cache:(BOOL)cache
                          params:(NSDictionary *)params
                   progressBlock:(XDGetProgress)progressBlock
                    successBlock:(XDResponseSuccessBlock)successBlock
                       failBlock:(XDResponseFailBlock)failBlock;

POST

+ (XDURLSessionTask *)postWithUrl:(NSString *)url
                   refreshRequest:(BOOL)refresh
                            cache:(BOOL)cache
                           params:(NSDictionary *)params
                    progressBlock:(XDPostProgress)progressBlock
                     successBlock:(XDResponseSuccessBlock)successBlock
                        failBlock:(XDResponseFailBlock)failBlock;

Download

+ (XDURLSessionTask *)downloadWithUrl:(NSString *)url
                        progressBlock:(XDDownloadProgress)progressBlock
                         successBlock:(XDDownloadSuccessBlock)successBlock
                            failBlock:(XDDownloadFailBlock)failBlock;

Upload

+ (XDURLSessionTask *)uploadFileWithUrl:(NSString *)url
                               fileData:(NSData *)data
                                   type:(NSString *)type
                                   name:(NSString *)name
                               mimeType:(NSString *)mimeType
                          progressBlock:(XDUploadProgressBlock)progressBlock
                           successBlock:(XDResponseSuccessBlock)successBlock
                              failBlock:(XDResponseFailBlock)failBlock;

请求相关

/**
 *  正在运行的网络任务
 *
 *  @return 
 */
+ (NSArray *)currentRunningTasks;

/**
 *  取消GET请求
 */
+ (void)cancelRequestWithURL:(NSString *)url;

/**
 *  取消所有请求
 */
+ (void)cancleAllRequest;

缓存相关

@interface XDNetworking (cache)

/**
 *  获取缓存目录路径
 *
 *  @return 缓存目录路径
 */
+ (NSString *)getCacheDiretoryPath;

/**
 *  获取下载目录路径
 *
 *  @return 下载目录路径
 */
+ (NSString *)getDownDirectoryPath;

/**
 *  获取缓存大小
 *
 *  @return 缓存大小
 */
+ (NSUInteger)totalCacheSize;

/**
 *  清除所有缓存
 */
+ (void)clearTotalCache;

/**
 *  获取所有下载数据大小
 *
 *  @return 下载数据大小
 */
+ (NSUInteger)totalDownloadDataSize;

/**
 *  清除下载数据
 */
+ (void)clearDownloadData;

@end

重复请求管理

大家会发现GET和POST的API有refresh参数,这个参数的主要目的是用于刷新请求,当遇到重复请求时,若为YES,则会取消旧的请求,用新的请求,若为NO,则忽略新请求,用旧请求,大家针对自己的业务需求自己取舍。下面我给大家分析是如何判断重复和刷新请求的。
大家可以点进GET请求或者POST请求的源码查看他的判断方法:

if ([self haveSameRequestInTasksPool:session] && !refresh) {
        //取消新请求
        [session cancel];
        return session;
    }else {
        //无论是否有旧请求,先执行取消旧请求,反正都需要刷新请求
        XDURLSessionTask *oldTask = [self cancleSameRequestInTasksPool:session];
        if (oldTask) [[self allTasks] removeObject:oldTask];
        if (session) [[self allTasks] addObject:session];
        [session resume];
        return session;
    }

判断的相关逻辑在XDNetworking+requestManager.h这个分类文件中,大家可以看下它提供的API,注释在代码中:

/**
 *  判断网络请求池中是否有相同的请求
 *
 *  @param task 网络请求任务
 *
 *  @return
 */
+ (BOOL)haveSameRequestInTasksPool:(XDURLSessionTask *)task;

/**
 *  如果有旧请求则取消旧请求
 *
 *  @param task 新请求
 *
 *  @return 旧请求
 */
+ (XDURLSessionTask *)cancleSameRequestInTasksPool:(XDURLSessionTask *)task;

判断一个请求是否重复,也就是判断新来的请求和旧的请求是否一样,判断的依据有以下几点:
1、请求的方法是否相同,是否同为GET或者同为POST;
2、请求的url是否相同,如果是GET请求,到这一步就可以做出判断了,如果是POST请求,则还需进行下一步的验证;
3、请求体的内容是否相同(POST请求的参数放在HTTP body里);
于是我为NSURLRequest拓展一个分类用于判断请求异同:

@implementation NSURLRequest (decide)

- (BOOL)isTheSameRequest:(NSURLRequest *)request {
    if ([self.HTTPMethod isEqualToString:request.HTTPMethod]) {
        if ([self.URL.absoluteString isEqualToString:request.URL.absoluteString]) {
            if ([self.HTTPMethod isEqualToString:@"GET"]||[self.HTTPBody isEqualToData:request.HTTPBody]) {
                return YES;
            }
        }
    }
    return NO;
}

@end

于是乎,我们可以遍历XDNetworking当前的运行任务(调用currentRunningTasks获取当前的运行任务),根据任务源请求判断新来的请求,是否已经有相同的请求正在执行当中:

+ (BOOL)haveSameRequestInTasksPool:(XDURLSessionTask *)task {
    __block BOOL isSame = NO;
    [[self currentRunningTasks] enumerateObjectsUsingBlock:^(XDURLSessionTask *obj, NSUInteger idx, BOOL * _Nonnull stop) {
        if ([task.originalRequest isTheSameRequest:obj.originalRequest]) {
            isSame  = YES;
            *stop = YES;
        }
    }];
    return isSame;
}

取消旧请求的逻辑也很容易实现,遍历获取重复的请求,调用它的cancle方法就取消旧请求了。

缓存方案的设计

先说说如何启动我们的缓存机制,GET和POST的API有一个cache参数,它用于给大家决定是否开启缓存机制,大家针对自己的业务数据的特征来决定是否开启cache,即时性或时效性的数据建议不开启缓存,一般建议开启,开启缓存后会回调两次,第一次获取是缓存数据,第二次获取的是最新的网络数据。
在上面我们已经分析了NSURLCache的局限性,而且基于HTTP缓存机制做的缓存需要客户端和服务器双边配合。所以这里我自己设计了一个网络的缓存方案,思路来源SDWebImage。
我的缓存方案分两级缓存:内存缓存和磁盘缓存,缓存的过程我给大家简单的梳理下:第一次请求获取响应数据,先缓存到内存,再缓存到磁盘,下一次再发起相同的请求时,会先查找内存之中会不会有相应的缓存,如果有则返回缓存数据,如果没有,则向磁盘查找,如果磁盘存在缓存则返回,否则发起网络请求获取数据。
上面就是缓存的整一个过程,思路还是比较清晰,除此之外,缓存的设计还需要考虑两个问题:
1、缓存的淘汰策略
2、缓存的过期机制
针对以上那些内容,我通过解析源码的方式给大家过一遍:
缓存相关的类放在Cache这个目录下:

Cache
Cache

XDCacheManager是一个缓存管理类,暴露出简单的API给XDNetworking进行缓存的存取,底层是使用XDMemoryCache(NSCache)进行内存缓存,使用XDDiskCache(NSFileManager)进行磁盘缓存,缓存淘汰策略采用LRU算法(XD_LRUManager)。它是一个单例,通过一个全局入口统一访问:

+ (XDCacheManager *)shareManager;

默认是磁盘大小是40MB,有效期是7天,如果想自定义设置,可以通过以下方法设置:

- (void)setCacheTime:(NSTimeInterval) time diskCapacity:(NSUInteger) capacity;

API:

存缓存的调用栈:

- [XDCacheManager cacheResponseObject:requestUrl:params:]
    - [XDMemoryCache writeData:forKey:]
    - [XDDiskCache writeData:toDir:filename:]
    - [XD_LRUManager addFileNode:]

取缓存的调用栈:

- [XDCacheManager getCacheResponseObjectWithRequestUrl:params:]
    - [XDMemoryCache readDataWithKey:]
    - [XDDiskCache readDataFromDir:filename:]
    - [XD_LRUManager refreshIndexOfFileNode:]

删除LRU缓存的调用栈:

- [XDCacheManager clearLRUCache]
    - [XD_LRUManager removeLRUFileNodeWithCacheTime:]
    - [XDDiskCache deleteCache:]

每一份缓存都有一个唯一的索引建,从方法的参数可以看出这个键是由请求的url和请求参数决定,大家不用担心接口和参数的暴露问题,键不是直接url加参数,而是两者共同作用的哈希值(采用MD5哈希算法)。
这里重点讲下XD_LRUManager做了哪些处理。

XD_LRUManager

XD_LRUManager是一个基于LRU(最近最少使用算法)实现的缓存数据管理类,它底层是由一个动态数组实现的队列,数组的元素是字典,字典包含两个键:fileName(缓存文件名字)和date(缓存文文件最近的访问时间),这个队列保存在NSUserDefault里。
LRU算法的实现:
创建一个队列,新加的结点添加在队列的尾部;命中缓存时,调整结点的位置,将其放在队列的尾部;要淘汰缓存时,删除队列的头部结点。
应用情景:
1、当有数据缓存时,会调用XD_LRUManager的addFileNode方法在LRU队列上记录一个文件结点,文件结点也就是上面解释的字典,记录文件名和此时的访问时间,先判断队列是否已经存在同文件名的结点,如果有则将结点取出并插入到队列的尾部,没有则直接插入到尾部。
在遍历队列查找同文件名的结点的时候我做了遍历优化,先将队列逆序,再查找,因为在尾部的结点被重用的概率会大一些,从尾部查找会减少遍历的次数:

//优化遍历
    NSArray *reverseArray = [[array reverseObjectEnumerator] allObjects];
    
    [reverseArray enumerateObjectsUsingBlock:^(NSDictionary *obj, NSUInteger idx, BOOL * _Nonnull stop) {
        if ([obj[@"fileName"] isEqualToString:filename]) {
            [operationQueue removeObjectAtIndex:idx];
            *stop = YES;
        }

    }];

2、当使用缓存的时候,说明缓存文件被访问,所有应修改LRU队列对应文件结点的最近访问并它插入LRU队列的尾部,我们通过调用
XD_LRUManager的refreshIndexOfFileNode方法实现,它的实现原理跟addFileNode一样。
3、当删除LRU缓存的时候,调用XD_LRUManager的removeLRUFileNodeWithCacheTime方法,他需要传一个有效期的参数,这个参数由上层的XDCacheManager提供。遍历LRU队列,从头部开始删除,删掉已经过期的文件结点,用一个数组保存删除的文件结点里的文件名,用于回调给上层通过文件名删除真正的磁盘缓存。如果发现没有文件过期,则删除头结点,它对应着最近最少使用的文件:

NSArray *tmpArray = [operationQueue copy];
        
        [tmpArray enumerateObjectsUsingBlock:^(NSDictionary *obj, NSUInteger idx, BOOL * _Nonnull stop) {
            NSDate *date = obj[@"date"];
            NSDate *newDate = [date dateByAddingTimeInterval:time];
            if ([[NSDate date] compare:newDate] == NSOrderedDescending) {
                [result addObject:obj[@"fileName"]];
                [operationQueue removeObjectAtIndex:idx];
            }
        }];

这里有个注意点,就是每次操作完LRU队列,无论是增删查改,都要强制刷新LRU队列在NSUserDefault的缓存。

源码地址

https://github.com/caixindong/XDNetworking
大家在使用的过程中出现什么问题或者有什么地方不清楚,欢迎来github issue 我。如果大家觉得不错,give me a star。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,242评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,769评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,484评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,133评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,007评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,080评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,496评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,190评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,464评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,549评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,330评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,205评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,567评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,889评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,160评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,475评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,650评论 2 335

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,045评论 25 707
  • AFHTTPRequestOperationManager 网络传输协议UDP、TCP、Http、Socket、X...
    Carden阅读 4,306评论 0 12
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,494评论 18 139
  • 木心公益书屋共同成长之《我读我心》 第6天打卡(2017.04.23) 姓名:花缘过客花艺馆 分享内容:《易经杂说...
    花缘过客阅读 2,443评论 1 2
  • 来简书的原因是因为在微信看到一遍干货文关于教我们怎么很轻松地写上一千字的文章。本来收藏得好好地,又不见...
    lisalisa阅读 142评论 0 1