美文网首页
Redis源码剖析--内存分配

Redis源码剖析--内存分配

作者: 铁甲依然在_978f | 来源:发表于2018-02-13 07:34 被阅读0次

    Redis在内存分配方面,仅仅是对系统的malloc/free做了一层简单的封装,然后加上了异常处理功能和内存统计功能。其实现主要在zmalloc.c和zmalloc.h文件中。

    功能函数总览

    在zmalloc.h中,定义了Redis内存分配的主要功能函数,这些函数基本上实现了Redis内存申请,释放和统计等功能,其函数声明如下:

    void *zmalloc(size_t size); // 调用zmalloc函数,申请size大小的空间
    void *zcalloc(size_t size); // 调用系统函数calloc申请内存空间
    void *zrealloc(void *ptr, size_t size); // 原内存重新调整为size空间的大小
    void zfree(void *ptr);  // 调用zfree释放内存空间
    char *zstrdup(const char *s); // 字符串复制方法
    size_t zmalloc_used_memory(void); // 获取当前以及占用的内存空间大小
    void zmalloc_enable_thread_safeness(void); // 是否设置线程安全模式
    void zmalloc_set_oom_handler(void (*oom_handler)(size_t)); // 可自定义设置内存溢出的处理方法
    float zmalloc_get_fragmentation_ratio(size_t rss); // 获取所给内存和已使用内存的大小之比
    size_t zmalloc_get_rss(void); // 获取RSS信息(Resident Set Size)
    size_t zmalloc_get_private_dirty(void); // 获得实际内存大小
    size_t zmalloc_get_smap_bytes_by_field(char *field); // 获取/proc/self/smaps字段的字节数
    size_t zmalloc_get_memory_size(void); // 获取物理内存大小
    void zlibc_free(void *ptr); // 原始系统free释放方法
    

    另外,我们还要注意到zmalloc.c中的几个变量和概念,

    static size_t used_memory = 0;  // 已使用内存的大小
    static int zmalloc_thread_safe = 0; // 线程安全模式状态
    pthread_mutex_t used_memory_mutex = PTHREAD_MUTEX_INITIALIZER; // 为此服务器
    

    接下来,我分几个章节来一一剖析zmalloc.c中的函数实现。
    内存申请函数zmalloc
    Redis的内存申请函数zmalloc本质就是调用了系统的malloc函数,然后对其进行了适当的封装,加上了异常处理函数和内存统计。其源代码如下:

    void *zmalloc(size_t size) {
        // 调用malloc函数进行内存申请
        // 多申请的PREFIX_SIZE大小的内存用于记录该段内存的大小
        void *ptr = malloc(size+PREFIX_SIZE);
        // 如果ptr为NULL,则调用异常处理函数
        if (!ptr) zmalloc_oom_handler(size);
        // 以下是内存统计
        *((size_t*)ptr) = size;
        update_zmalloc_stat_alloc(size+PREFIX_SIZE); // 更新used_memory的值
        return (char*)ptr+PREFIX_SIZE;
    }
    

    上述代码中的PREFIX_SIZE解释:由于malloc函数申请的内存不会标识内存块的大小,而我们需要统计内存大小,所以需要在多申请PREFIX_SIZE大小的内存,用于存放该大小。
    其中,异常处理函数如下:

    static void zmalloc_default_oom(size_t size) {
        fprintf(stderr, "zmalloc: Out of memory trying to allocate %zu bytes\n", // 打印输出日志
            size);
        fflush(stderr);
        abort(); // 中断退出
    }
    

    更新used_memory值得函数以宏定义给出,其代码和注释如下:

    #define update_zmalloc_stat_alloc(__n) do { \
        size_t _n = (__n); \
        if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \   // 将_n调整为sizeof(long)的整数倍
        if (zmalloc_thread_safe) { \ // 如果启用了线程安全模式
            update_zmalloc_stat_add(_n); \   // 调用原子操作加(+)来更新已用内存
        } else { \
            used_memory += _n; \   // 不考虑线程安全,则直接更新已用内存
        } \
    } while(0)
    

    在上述函数中,又用到了原子加操作,其代码和注释如下:

    // __atomic_add_fetch是C++11特性中提供的原子加操作
    #if defined(__ATOMIC_RELAXED)
    #define update_zmalloc_stat_add(__n) __atomic_add_fetch(&used_memory, (__n), __ATOMIC_RELAXED)
    // 如果不支持C++11,则调用GCC提供的原子加操作
    #elif defined(HAVE_ATOMIC)
    #define update_zmalloc_stat_add(__n) __sync_add_and_fetch(&used_memory, (__n))
    // 如果上述都没有,则只能采用加锁操作
    #else
    #define update_zmalloc_stat_add(__n) do { \
        pthread_mutex_lock(&used_memory_mutex); \
        used_memory += (__n); \
        pthread_mutex_unlock(&used_memory_mutex); \
    } while(0)
    

    内存申请函数zcalloc

    与malloc一样,zcalloc调用的是系统给的calloc()来申请内存。

    void *zcalloc(size_t size) {
        void *ptr = calloc(1, size+PREFIX_SIZE);
        // 异常处理函数
        if (!ptr) zmalloc_oom_handler(size);
        // 内存统计函数
        *((size_t*)ptr) = size;
        update_zmalloc_stat_alloc(size+PREFIX_SIZE);
        return (char*)ptr+PREFIX_SIZE;
    }
    

    内存调整函数zrecalloc
    Redis定义的zrecalloc用于调整已申请内存的大小,其本质也是直接调用系统函数recalloc()

    void *zrealloc(void *ptr, size_t size) {
        size_t oldsize;
        void *newptr;
        // 为空直接退出
        if (ptr == NULL) return zmalloc(size);
        // 找到内存真正的起始位置
        realptr = (char*)ptr-PREFIX_SIZE;
        oldsize = *((size_t*)realptr);
        // 调用recalloc函数
        newptr = realloc(realptr,size+PREFIX_SIZE);
        if (!newptr) zmalloc_oom_handler(size);
        // 内存统计
        *((size_t*)newptr) = size;
        update_zmalloc_stat_free(oldsize); // 先减去原来的已使用内存大小
        update_zmalloc_stat_alloc(size); // 在加上调整后的大小
        return (char*)newptr+PREFIX_SIZE;
    }
    

    内存释放函数

    与内存申请函数调用malloc一样,内存释放也是调用系统的free()函数来实现内存释放

    void zfree(void *ptr) {
        if (ptr == NULL) return;  // 为空直接返回
        realptr = (char*)ptr-PREFIX_SIZE; // 找到该段内存真正的起始位置
        oldsize = *((size_t*)realptr);
        update_zmalloc_stat_free(oldsize+PREFIX_SIZE);// 更新use_memory函数
        free(realptr); // 调用系统的内存释放函数
    }
    

    其中,内存状态统计函数的代码实现如下:

    #define update_zmalloc_stat_free(__n) do { \
        size_t _n = (__n); \ 
        if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \  // 将内存大小调整为sizeof(long)的整数倍
        if (zmalloc_thread_safe) { \  // 如果开启了线程安全模式
            update_zmalloc_stat_sub(_n); \ // 更新use_memory值(与上述的update_zmalloc_stat_add这里就不赘述了)
        } else { \
            used_memory -= _n; \ // 没有线程安全则直接减
        } \
    } while(0)
    

    讲到这里,Redis基本的内存处理函数已经分析完毕了。

    相关文章

      网友评论

          本文标题:Redis源码剖析--内存分配

          本文链接:https://www.haomeiwen.com/subject/lpfjtftx.html