美文网首页iOS精品文章
高性能日志记录方式 - mmap

高性能日志记录方式 - mmap

作者: ck2016 | 来源:发表于2018-03-20 10:44 被阅读103次

    场景

    程序频繁的输出一些log,要记录,需要的时候要上报到后台分析。

    方式1:写文件,写数据库
    优点:不容易丢数据。
    缺点:频繁调用内核api,IO性能消耗大,导致耗电增加,速度比内存访问慢。

    方法2:在内存中创建buffer,合适时写入到磁盘
    优点,解决性能问题,避免频繁IO
    缺点,容易丢数据,crash,进程被kill时

    方法3:mmap(内核地址空间映射到用户进程)
    mmap 省掉了内核空间与用户进程空间的拷贝,数据直接写在内核空间中,内核按照一定的策略(LRU,时钟工作集,老化)把脏页面写回磁盘中。即使用户进程crash,被kill 也不会丢数据。
    优点:写入速度几乎和内存访问速度一样,不会丢数据。

    引用微信 mars 的日志模块 xlog 的测试数据


    mmap 相关 api

    FILE *fp = fopen(file_path, "wb+");
    file_num = fileno(fp);
    ftruncate(file_num, size);      // 调整size
    char *mmap_ptr = (char *)mmap(NULL, size, PROT_READ | PROT_WRITE, MAP_FILE | MAP_SHARED, file_num, 0);
    
    // 然后就可以对 mmap_ptr 进行读写了
    
    munmap(mmap_ptr, mmap_size);    // 解除一个map,内容会写回磁盘
    msync(mmap_ptr, mmap_size, MS_ASYNC);  // 同步,异步写回磁盘
    
    扩容办法:先解除munmap,调大文件大小,重新调 mmap 映射即可
    

    相关文章

      网友评论

      本文标题:高性能日志记录方式 - mmap

      本文链接:https://www.haomeiwen.com/subject/qxkbxftx.html