YYCache

大体结构

NSCache

特性:

• 线程安全
• NSCache 底层并没有用 NSDictionary 等已有的类，而是直接调用了 libcache.dylib，线程安全由 pthread_mutex 完成的。
• 性能和 key 的相似度有关，如果有大量相似的 key (比如 "1", "2", "3", ...) ，NSCache 的存取性能会剧烈下降，大量的时间被消耗在 CFStringEqual() 上
• 收到内存警告时, 马上清空所有缓存, 无法精准控制

YYMemoryCache

特征:

• LRU淘汰算法
• 收到内存警告时可精准控制行为
• 对象数量限制, 总容量限制, 存活时间限制
• 查询和插入时, 并不是通过遍历双向链表, 而是使用字典hash表快速查找到指定结点, 保证效率

主要手段:

• CFMutableDictionaryRef来实现数据的实际存储；
• 使用OSSpinLockLock来保证线程的安全 (之后改为pthread_mutex_lock)
• 使用_YYLinkedMapNode和_YYLinkedMap来组织数据的存储结构
• 使用YYMemoryCache来组织对数据的各种操作

性能对比 (QPS)

NSDictionary线程不安全, 表现最佳
YYCache表现优于NSCache

性能对比

数据结构的图表 (LRU:Least Recently Used近期最少使用算法)

淘汰算法 数据结构

Cache的操作共3种

• 插入：当Cache未满时，新的数据项只需插到双链表头部即可
• 替换：当Cache已满时，将新的数据项插到双链表头部，并删除双链表的尾结点即可
• 查找：每次数据项被查询到时，都将此数据项移动到链表头部

链表

关于锁的使用

用于内存的锁 (自旋锁)

OSSpinLock 自旋锁，性能最高的锁。一直 do while 忙等。缺点是等待时消耗大量 CPU 资源，不适用于较长时间的任务。对于内存缓存的存取来说，它非常合适。
根据大神博客, OSSPinLock有风险, 苹果的线程QoS会造成优先级反转
结论，除非开发者能保证访问锁的线程全部都处于同一优先级，否则 iOS 系统中所有类型的自旋锁都不能再使用了。
旧版本

- (void)setObject:(id)object forKey:(id)key withCost:(NSUInteger)cost {
    OSSpinLockLock(&_lock);
    _YYLinkedMapNode *node = CFDictionaryGetValue(_lru->_dic, (__bridge const void *)(key));
      if (node) {
        //移动到头结点
        [_lru bringNodeToHead:node];
    } else {
        //添加到头部
        [_lru insertNodeAtHead:node];
    }
    OSSpinLockUnlock(&_lock);
}

锁性能对比

新版本

- (void)setObject:(id)object forKey:(id)key withCost:(NSUInteger)cost {
    pthread_mutex_lock(&_lock);
    _YYLinkedMapNode *node = CFDictionaryGetValue(_lru->_dic, (__bridge const void *)(key));
    if (node) {
        //移动到头结点
        [_lru bringNodeToHead:node];
    } else {
        //添加到头部
        [_lru insertNodeAtHead:node];
    }
    pthread_mutex_unlock(&_lock);
}

用于磁盘的锁 (互斥锁)

dispatch_semaphore 信号量，

• 没有等待情况出现时，性能比 pthread_mutex 还要高，但有等待情况时，性能会下降许多
• 相对于 OSSpinLock ，优势在于等待时不会消耗 CPU 资源。更适合耗时较大的磁盘IO

YYDiskCache

tricky的地方

• 单条数据小于 20K 时，SQLite读取性能越高
• 单条数据大于 20K 时，写文件更快

最佳实践

• SQLite 和文件存储结合起来：key-value 元数据保存在 SQLite 中，而 value 数据则根据大小不同选择 SQLite 或文件存储。

结尾

自动清理缓存

• 为什么要指定在主线程清理缓存呢?
• 这里为什么是pthread_mutex_trylock

- (void)_trimToCost:(NSUInteger)costLimit {
    /*
        costlimit为0时, 直接清空所有并return
    */
    NSMutableArray *holder = [NSMutableArray new];
    BOOL finish = NO;

    while (!finish) {
        if (pthread_mutex_trylock(&_lock) == 0) {
            if (_lru->_totalCost > costLimit) {
                _YYLinkedMapNode *node = [_lru removeTailNode];
                if (node) [holder addObject:node];
            } else {
                finish = YES;
            }
            pthread_mutex_unlock(&_lock);
        } else {
            usleep(10 * 1000); //10 ms
        }
    }

    if (holder.count) {
        dispatch_queue_t queue = _lru->_releaseOnMainThread ? dispatch_get_main_queue() : YYMemoryCacheGetReleaseQueue();
        dispatch_async(queue, ^{
            [holder count]; // release in queue
        });
    }
}

更多关于锁的问题