Zstd 压缩算法

简介

最近维护一个老的缓存系统，使用RUST语音实现，底层使用磁盘缓存。因为人员离职，打算用JAVA/KOTLIN 重新实现一遍。

考虑到历史缓存数量比较大，采用灰度模式，复用历史缓存，只是程序改成JAVA版本。刚刚开始一切比较顺利，但是上线以后显示历史缓存错误，比如hash不一样。

仔细翻看历史代码，底部存储使用了一种叫做zstd的一种压缩算法，找找资料，发现这个还挺牛的，特记录下。

Zstd，全称 Zstandard，是 Facebook 于 2016 年开源的新无损压缩算法。与 zlib、lz4、xz 等当前流行的压缩算法不同，Zstd 寻求一种压缩性能与压缩率通吃的方案，而实际上它也确实做到了。在由官方所列出的表格中，可以看到，Zstd 不仅具备优秀的压缩性能，在压缩率上也有非常亮眼的表现。官方资料。

Zstd-jni

Zstd-jni，顾名思义，是基于 Zstd 本地库实现的 Java 调用接口。它支持通过 Java 语言实现 Zstd 的压缩与解压缩。

在 Zstd-jni 的三方包中，主要实现了以下功能：

• 提供静态的压缩与解压缩方法
• 支持压缩数据的流式传输
• 支持字典文件的训练与添加

代码示例

添加依赖

// https://github.com/luben/zstd-jni
implementation("com.github.luben:zstd-jni:1.4.9-5")

读取历史文件，解压数据，写入到新文件。

    private fun convertOldToNew(file: File, path: String): File {
        val src = file.inputStream().use { it.readBytes() }
        // 真坑，还要给大小
        val size = when {
            src.size < 10_000 -> src.size * 2
            src.size < 100_000 -> src.size * 3
            else -> src.size * 4
        }
        val dst = ByteArray(size)
        val len = Zstd.decompress(dst, src)

        val newFile = File(config.cacheDirFile(), path).apply { parentFile.mkdirs() }
        newFile.outputStream().use { it.write(dst, 0, len.toInt()) }

        log.error("convert old $file >>> $newFile, $len / ${file.length()}")
        return newFile
    }

Zstd Java Sdk 的版本就比较坑了，解压的时候，还需要给出大小。