前言：由于知识点多，分了多个记录。

MMKV（ 一） 了解原理
MMKV （二）基础知识点和实现流程解析
MMKV (三) POSIX线程和文件锁

负数编码

需要 原码，反码，补码 的基础知识

在Protobuf为了让int32和int64在编码格式上兼容，对负数的编码将int32视为int64处理，因此负数使用Varint(变长)编码一定是10字节。

为什么是10位？

-1 的源码，反码和补码

原码：高位1表示负数------------------------> 10...(省略0)01
反码：符号位不变 ------------------------> 11...(省略1)10
补码：补码=反码+1 并且符号位不变 ------> 11...(省略1)11
所以-1 用 64个1表示 long类型

protobuf 占用：负数:64 /7 = 9 9+1 = 10 存储位

int32

int32.png

int64

int64.png

编码的实现

怎么判断int32数据是否只有低7位有1，即此数据只需要一个字节存储？

十进制	二进制	字节数
1	0000 0000 0000 0000 0000 0000 0000 0001	1
256	0000 0000 0000 0000 0000 0001 0000 0000	2

低7位有数.png

(i & ~0x7f) == 0，true：i 只在低7位有数据

基础知识右移

• 带符号右移：
  符号不变,正数补充0,负数补充1

• 无符号右移：
  忽略符号补0

任意数「 X & 0x7f」 都是取低7位数

0xffffffff << 7 -> 1111....1111 1000 0000

0x7f
0000 ... 0000 0111 1111
&
1111....1111 1000 0000 （1111....1111 1000 1000  等等）
所以只要是7位和0x7f 做&运算都是==0

「X | 0x80 」最高为都是1，低七位是元数据

X & ~0x7f  ----------通用带符号的低七位

在c 中 ，int8 如何判断最高位是0还是1？
第一种 ：直接就判断 x > 0 最高位是0，否则x<0就是1

第二种：或者 x & 0x80 == 0 判断 最高位

常用的编码拼接方式

编码拼接 temp | = newtemp << 7

temp = 1000
newtemp = 1111 1111
拼接 ： 1111 1111 000 1000

0x80.png

总结：

X & 0x7f | 0x80

& 0x7f : 获得低7位；
|   0x80: 最高位赋1；

浮点书处理

Float在Protobuf编码中使用定长编码固定为4字节，但是对于Float无法通过位移运算获取每个字节。
int32也为4个字节，所以Float可以转换为int32处理。那如何使用int32表示Float数据？

浮点数处理.png

Java 中 float 用int表示，然后再解码回float

@Test
    public void int_convert_float(){
        float i = 1.1f;
        int j = Float.floatToIntBits(i);
        float k = Float.intBitsToFloat(j);
        System.out.println(k);
    }

核心的实现流程，具体去github搜索mmkv 「by tencent出品」

自定义核心demo 预览

结构demo.png

编码考虑的流程

• 编码
• 检查文件容量
• 扩容，按照页的方式存储

MMKV.cpp
类比我们 SharePreference中的putInt功能

void MMKV::putInt(const char *key, int value) {
    size_t size = computeInt32Size(value);
    //编码value
    auto *buffer = new InputBuffer(size);
    // 编码！
    OutputBuffer buf(buffer->data(),buffer->length());
    buf.writeInt32(value);


    //记录到内存
    auto itr = m_dic.find(key);
    if (itr != m_dic.end()) {
        delete itr->second;
    }
    m_dic[key] = buffer;

    //同步到映射区(文件)
    appendDataWithKey(key, buffer);
}

size_t size = computeInt32Size(value); 计算我们编码多少个字节

PBUtility

size_t computeInt32Size(int32_t value) {
    if (value < 0){
        return 10;
    }
    //0xffffffff 表示 32位能表示的 最大值
    //<< 7 则低7位变成0 与上value
    //如果value只要7位就够了则=0,编码只需要一个字节，否则进入其他判断
    if ((value & (0xffffffff << 7)) == 0) {
        return 1;
    } else if ((value & (0xffffffff << 14)) == 0) {
        return 2;
    } else if ((value & (0xffffffff << 21)) == 0) {
        return 3;
    } else if ((value & (0xffffffff << 28)) == 0) {
        return 4;
    }
    return 5;
}

得到 符号类型解码，我们创建buffer保存数据编码Outputbuffer->Inputbuffer

auto 是c++新增语法，不需要new 但是类似

  //编码value
    auto *buffer = new InputBuffer(size);
    // 编码！
    OutputBuffer buf(buffer->data(),buffer->length());
    buf.writeInt32(value);

appendDataWithKey 扩容或者增量更新

MMKV 中扩容代码

void MMKV::appendDataWithKey(string key, InputBuffer *value) {
    //计算保存这个key-value需要多少字节
    size_t itemSize = computeItemSize(key, value);
    // 空闲空间不够了
    if (itemSize > m_output->spaceLeft()){
        // 计算去重key后的数据 所需的存储空间
        size_t needSize = computeMapSize(m_dic);
        needSize += Fixed32Size; //总长度 4字节
        //小于文件大小
        if (needSize >= m_size){
            int32_t oldSize = m_size;
            do {
                //扩充一倍  为什么？？？ mmap规则限制：整数倍
                m_size *= 2;
            } while (needSize  >= m_size);
            //重新设定文件大小
            ftruncate(m_fd, m_size);
            //解除映射
            munmap(m_ptr, oldSize);
            //重新映射
            m_ptr = (int8_t *) mmap(m_ptr, m_size, PROT_READ | PROT_WRITE, MAP_SHARED, m_fd, 0);
        }
        //全量更新
        writeAcutalSize(needSize - Fixed32Size);
        delete m_output;
        //创建输出
        m_output = new OutputBuffer(m_ptr + Fixed32Size,
                                m_size - Fixed32Size);
        //把map写入文件
        auto iter = m_dic.begin();
        for (; iter != m_dic.end(); iter++) {
            auto k = iter->first;
            auto v = iter->second;
            m_output->writeString(k);
            m_output->writeData(v);
        }

    } else{
        //增量更新
        writeAcutalSize(m_actualSize + itemSize);
        //写入key
        m_output->writeString(key);
        //写入value
        m_output->writeData(value);
    }
}

Fixed32Size 4个字节的总长度
保存数据如果大于了剩余空间，需要进行扩容

• 计算去重的所有kv有效长度+ 4 字节

• 由于我们是按照页的存储方式所以 *=2 方式倍数扩容
  在MMKV 中有一些复杂的策略算法，可以阅读源代码。

• 然后重新设置文件大小，先把原来老的mmap映射解除掉，然后重新mmap映射完成扩容。完成全量更新覆盖

不大于，增量更新

• 先更新头4个字节，原有长度+kv长度
• 添加kv

涉及到的源代码 github代码
Tecent/MMKV Tecent/MMKV
续接 MMKV(一)续接 MMKV一