美文网首页Netty
ByteBuf:Netty的数据容器

ByteBuf:Netty的数据容器

作者: tudouSmart | 来源:发表于2017-08-13 12:48 被阅读0次

    1. ByteBuf API的优点

    • 可以被扩展
    • 通过内置的复合缓冲区类型实现了透明的零拷贝
    • 容量可以按需增长
    • 读写模式切换不需要调用flip方法
    • 读写使用不用的索引
    • 方法支持链式调用
    • 支持引用计数
    • 支持池化

    2.ByteBuf如何工作

    ByteBuf维护了两个索引,一个读索引(readerIndex),一个写索引(writerIndex),读取数据时readerIndex增加,写入数据时writerIndex增加,当readerIndex达到writerIndex相同值时,再继续读取数据将会触发一个IndexOutOfBoundException

    3.ByteBuf使用模式

    1. 堆缓冲区

    最常用的模式是将数据存储到JVM对空间中,这种模式称为支撑数组,它能在没有使用池化的情况下提供快速的分配和释放。例子如下

    ByteBuf byteBuf = ...;
    if (byteBuf.hasArray()) {
        byte[] bytes = byteBuf.array();
        int offset = byteBuf.arrayOffset() + byteBuf.readerIndex();
        int length = byteBuf.readableBytes();
        hanle(array, offset, length);
    }
    
    

    当hasArray方法返回false时,尝试获取支撑数组将会引发UnsupportedOperationException,这和JDK的ByteBuffer类似

    1. 直接缓冲区

    直接缓冲区允许通过本地调用来分配内存,这种方式可以减少每次调用本地I/O时将缓冲区内容复制到中间缓冲区。

    直接缓冲区缺点在于,它的内存分配和释放比较昂贵,同时因为数据不在堆上,所以代码中不得不多进行一次复制,如下

    ByteBuf byteBuf = ...;
    if (!byteBuf.hasArray()) {
        int length = byteBuf.readableBytes();
        byte[] bytes = new byte[length];
        byteBuf.getBytes(byteBuf.readerIndex(), bytes);
        handle(bytes, 0, length);
    }
    
    1. 复合缓冲区

    复合缓冲区为多个ByteBuf提供了一个聚合视图,它允许添加或删除ByteBuf实例,Netty通过ByteBuf子类---CompositeByteBuf实现这个模式,它提供了一个将多个缓冲区表示为单个合并缓冲区的虚拟表示,例子如下

    CompositeByteBuf buf = Unpooled.compositeBuffer();
    ByteBuf headBuf = ...;
    ByteBuf bodyBuf = ...;
    buf.addComponents(headBuf, bodyBuf);
    for (ByteBuf b:buf) {
        System.out.println(b.toString());
    }
    

    访问复合缓冲区

    CompositeByteBuf buf = Unpooled.compositeBuffer();
    int length = buf.readableBytes();
    byte[] bytes = new byte[length];
    buf.getBytes(buf.readerIndex(), bytes);
    handle(bytes, 0, length);
    

    4.ByteBuf的字节操作

    • 随机访问

    和Java中的数组一样,ByteBuf的索引是从0开始,最后一个字节的索引是capacity()-1,对ByteBuf的随机访问代码如下

    ByteBuf buf = ...;
    for (int i = 0; i < buf.capacity(); i ++) {
        byte b = buf.getByte(i);
        System.out.println((char)b);
    }
    

    需要索引来获取数据的方法不会改变readerIndex、writerIndex的值

    • 可读字节

    对于每个新分配的ByteBuf,其默认readerIndex都为0,任何以read或者skip开头的方法,会检索或者跳过位于当前readerIndex的数据,并且增加readerIndex的值

    ByteBuf buf = ...;
    while (buf.isReadable()) {
        System.out.println((char)buf.readByte());
    }
    
    • 可写字节

    可写字段指拥有一段未定义、可写入的内容,新分配的缓冲区默认writerIndex为0,任何以write为开头的方法都会增加writeIndex的值。

    ByteBuf buf = ...;
    while (buf.writableBytes() >= 4) {
        buf.writeInt(random.nextInt());
    }
    
    • 索引管理

    通过调用markReaderIndex、markWriterIndex、resetReaderIndex、resetWriterIndex可以实现对读、写索引的标记与重置,可以通过readerIndex(int)、writerIndex(int)方法来移动读、写索引,注意,任何试图将索引移动到一个无效位置的操作都会触发IndexOutBoundsException。

    clear方法会将readerIndex和writerIndex置0,但是不会清除内存当中的内容,它仅仅是改变了索引的值。

    • 查找操作

    ByteBuf中最简单的查找方法是indexOf(fromIndex, toIndex, value)方法,这个方法直接返回,这个方法查询指定索引之间的字符与指定值是否匹配,并返回查找到的索引。ByteBuf还提供了forEachByte()方法,这个方法接收一个ByteBufProcessor的实例,ByteBufProcessor接口只有一个方法:

    boolean process(byte value)
    

    通过这种方式可以使用一些较为复杂的查询逻辑来进行查询操作,ByteBufProcessor针对一些常见的值定义了一些具体实例,如程序想要查找换行符

    ByteBuf buf = ...;
    int index = buf.forEach(ByteBufProcessor.FIND_LF);
    
    • 派生缓冲区

    Netty为ByteBuf提供了如下创建视图的方法

    1. duplicate()
    2. slice()
    3. slice(int, int)
    4. Unpooled。unmodifiableBuffer();
    5. order(ByteOrder);
    6. readSlice(int);

    以上每个方法都会返回一个新的ByteBuf实例,他们维护自己的读、写索引,但是内部的存储是共享的,所以对视图实例的修改也会影响到源实例的内容。

    如果需要一个ByteBuf的真是副本,可以使用copy()和copy(int, int)方法,这两个方法会返回一个拥有独立存储的ByteBuf。

    • 读写操作

    ByteBuf的读写操作与JDK ByteBuffer类似,都提供了getXXX(int)、setXXX(int)的相对给定索引的读写方法,如getBoolean(int)、setBoolean(int, boolean)。

    而readXXX()和wirteXXX()操作则是相对于readerIndex和writerIndex进行读写的,此类方法会修改readerIndex和writerIndex的值,如writeBoolean(boolean)、readBoolean()。

    • 其他操作
    名称 描述
    isReadable() 如果有可读的字节,返回true
    isWritable() 如果有可写的空间,返回true
    readableBytes() 返回可读取的字节数
    writableBytes() 返回可以写入的字节数

    5.ByteBuf分配

    ByteBuf分配分为两种,一种是ByteBufAllocator进行分配,另外一种通过Unpooled进行分配,ByteBufAllocator的实例可以通过一下两种方式获取

    Channel channel = ...;
    ByteAllocator allocator1 = channel.alloc();
    
    ChannelHandlerContext ctx = ...;
    ByteAllocator allocator2 = ctx.alloc();
    

    ByteBufAllocator提供了一系列重载的buffer()、heapBuffer()、directBuffer()、compositeBuffer()方法来分配ByteBuf。

    在某些情况下可能无法获取到一个ByteAllocator的实例,此时可以使用Unpooled工具类来创建ByteBuf,具体方法如下

    • buffer()
    • buffer(int initialCapacity)
    • buffer(int initialCapacity, int maxCapacity)
    • directBuffer()
    • directBuffer(int initialCapacity)
    • directBuffer(int initialCapacity, int maxCapacity)
    • wrappedBuffer(...)
    • copiedBuffer(...)

    相关文章

      网友评论

        本文标题:ByteBuf:Netty的数据容器

        本文链接:https://www.haomeiwen.com/subject/eyzsrxtx.html