ClickHouse数据压缩[译文](转发)


原文:https://www.altinity.com/blog/2017/11/21/compression-in-clickhouse

Altinity是国外一家从事ClickHouse咨询、服务的公司,该公司高管由ClickHouse开发者,以及来自Percona的专家组成。目前Altinity的ClickHouse云服务测试版已经上线。

综述

It might not be obvious from the start, but ClickHouse supports different kinds of compressions, namely two LZ4 and ZSTD.

There are evaluations for both of these methods:https://www.percona.com/blog/2016/04/13/evaluating-database-compression-methods-update/

But in short, LZ4 is fast but provides smaller compression ratio comparing to ZSTD. While ZSTD is slower than LZ4, it is often faster and compresses better than a traditional Zlib, so it might be considered as a replacement for Zlib compression.

其实,从一开始ClickHouse就支持多种方式的数据压缩:LZ4和ZSTD。

关于压缩算法的测试,见这篇文章。简而言之,LZ4在速度上会更快,但是压缩率较低,ZSTD正好相反。尽管ZSTD比LZ4慢,但是相比传统的压缩方式Zlib,无论是在压缩效率还是速度上,都可以作为Zlib的替代品。

实际压测

To get some real numbers using ClickHouse, let’s review a table compressed with both methods.

For this, we will take the table lineorder, from the benchmark described inhttps://www.altinity.com/blog/2017/6/16/clickhouse-in-a-general-analytical-workload-based-on-star-schema-benchmark

The uncompressed datasize for lineorder table with 1000 scale is 680G.

为了用事实说话,我们一起对比一下这两种压缩方式。

压测所用的表(lineorder)结构和数据来着这里

未压缩的数据集是680GB。

数据对比

And now let’s load this table into ClickHouse. With the default compression (LZ4), we have184G lineorderlz4

And with ZSTD135G lineorderzstd

There we need to mention how to make ClickHouse using ZSTD. For this, we add the following lines into config:

把上述数据加载到ClickHouse后,默认的LZ4压缩算法下,数据容量是184G(压缩到27%),而ZSTD达到了135GB(压缩到20%)。

关于如何使用ZSTD,需要简单的提一下,使用如下配置即可:

zstd

So the compression ratio for this table

压缩比率对比

CompressionRatio

LZ43.7

ZSTD5.0

What about performance? For this let’s run the following query

压缩后的性能如何,我们来跑如下查询看看。

SELECTtoYear(LO_ORDERDATE)ASyod,sum(LO_REVENUE)FROMlineorderGROUPBYyod;

And we will execute this query in “cold” run (no data is cached), and following “hot” run when some data is already cached in OS memory after the first run.

为了保持客观,我们会跑两次,第一次是冷数据请求,这次的数据没有被操作系统缓存,第二次跑一次热数据情求,这次的数据已经被操作系统的内存给缓存住了。

So query results, for LZ4 compression:

LZ4的性能如下:

# Cold run:

7 rows in set. Elapsed: 19.131 sec. Processed 6.00 billion rows,

36.00 GB (313.63 million rows/s., 1.88 GB/s.)

Hot run:

7 rows in set. Elapsed: 4.531 sec. Processed 6.00 billion rows,

36.00 GB (1.32 billion rows/s., 7.95 GB/s.)

For ZSTD compression:

ZSTD性能如下:

Cold run:

7 rows in set. Elapsed: 20.990 sec. Processed 6.00 billion rows,

36.00 GB (285.85 million rows/s., 1.72 GB/s.)

Hot run:

7 rows in set. Elapsed: 7.965 sec. Processed 6.00 billion rows,

36.00 GB (753.26 million rows/s., 4.52 GB/s.)

While there is practically no difference in cold run times (as the IO time prevail decompression time), in hot runs LZ4 is much faster (as there is much less IO operations, and performance of decompression becomes a major factor).

冷数据查询情况下,两者区别不大,原因在于消耗在IO方面的时间,远大于消耗在解压缩上面的时间。

热数据请求下,LZ4会更快,此时IO代价小,数据解压缩成为性能瓶颈。

Conclusion:

结论

ClickHouse proposes two methods of compression: LZ4 and ZSTD, so you can choose what is suitable for your case.

With LZ4 you may get a better execution time with the cost of the worse compression and data taking more space on the storage.

ClickHouse提供了两种数据压缩方式供我们选择:LZ4和ZSTD。

默认的LZ4压缩方式,会给我们提供更快的执行效率,但是同时,我们要付出较多的磁盘容量占用的代价了。

译者注

ClickHouse在我们公司(Sina)内部已经有一段时间的使用了,抛开高效的SQL执行,数据容量也是一个非常喜人的地方

我们使用的是大容量的服务(没错,就是Hadoop node节点的低配机器),单机容量轻松几十T,再加上ClickHouse优秀的压缩方式,日志数据存1-2年,都没有一点问题

我们没修改过压缩算法,就用的默认的LZ4

作者:JackpGao

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容