Zstd 压缩算法
简介
最近维护一个老的缓存系统,使用RUST语音实现,底层使用磁盘缓存。因为人员离职,打算用JAVA
/KOTLIN
重新实现一遍。
考虑到历史缓存数量比较大,采用灰度模式,复用历史缓存,只是程序改成JAVA版本。刚刚开始一切比较顺利,但是上线以后显示历史缓存错误,比如hash不一样。
仔细翻看历史代码,底部存储使用了一种叫做zstd
的一种压缩算法,找找资料,发现这个还挺牛的,特记录下。
Zstd,全称 Zstandard,是 Facebook 于 2016 年开源的新无损压缩算法。与 zlib、lz4、xz 等当前流行的压缩算法不同,Zstd 寻求一种压缩性能与压缩率通吃的方案,而实际上它也确实做到了。在由官方所列出的表格中,可以看到,Zstd 不仅具备优秀的压缩性能,在压缩率上也有非常亮眼的表现。官方资料。
Zstd-jni
Zstd-jni,顾名思义,是基于 Zstd 本地库实现的 Java 调用接口。它支持通过 Java 语言实现 Zstd 的压缩与解压缩。
在 Zstd-jni 的三方包中,主要实现了以下功能:
- 提供静态的压缩与解压缩方法
- 支持压缩数据的流式传输
- 支持字典文件的训练与添加
代码示例
添加依赖
// https://github.com/luben/zstd-jni
implementation("com.github.luben:zstd-jni:1.4.9-5")
读取历史文件,解压数据,写入到新文件。
private fun convertOldToNew(file: File, path: String): File {
val src = file.inputStream().use { it.readBytes() }
// 真坑,还要给大小
val size = when {
src.size < 10_000 -> src.size * 2
src.size < 100_000 -> src.size * 3
else -> src.size * 4
}
val dst = ByteArray(size)
val len = Zstd.decompress(dst, src)
val newFile = File(config.cacheDirFile(), path).apply { parentFile.mkdirs() }
newFile.outputStream().use { it.write(dst, 0, len.toInt()) }
log.error("convert old $file >>> $newFile, $len / ${file.length()}")
return newFile
}
Zstd Java Sdk 的版本就比较坑了,解压的时候,还需要给出大小。