ClickHouse --表引擎之-------MergeTree

1. ClickHource 建表引擎的功能

1. 数据的存储方式
2. 是否可以使用索引
3. 数据的存储位置
4. 并发数据的访问
5. 会否可以使用分区
6. 是否支持数据的副本

2.ClickHouse 的表引擎分为四大类

1. MergeTree 系列引擎

2. Log 系列引擎

3. 与其他存储/处理系统集成的引擎

4.特定功能的引擎

 每个引擎都包含了多个具体的引擎,每个引擎均都有使用的场景。

3. 详细来说说MergeTree 系列引擎

3.1MergeTree 引擎的使用场景

使用与高负载任务的最通用的和功能强大的表引擎,可以快速插入数据并进行后续的后台数据处理,支持复制(使用Replicated*的引擎版本), 分区和其他的引擎不支持的特性。

3.2 MergeTree 的引擎系列有几大类

1.MergeTree 
2.ReplacingMergeTree
3.SummingMergeTree
4.AggregatingMergeTree
5.CollapsingMergeTree
6.VersionedCollapsingMergeTree
7.GraphiteMergeTree

4.MergeTree 系列引擎的特点和存储结构

4.1 MergeTree 是ClickHouse 中最强大的的表引擎。

主要的特点:

1.数据按照主键排序,稀疏索快速检索数据
2.数据的分区,增加一个查询效率(分区也就是一个分目录的存储和hive 的分区概念一样)
3.数据副本,ReplicatedMergeTree系列的引擎支持数据副本, 提升查询性能和容错
4.数据采样,设置采样方法,快速分析数据。

4.2 建表的实例

关键字:
ENEIGE---------------------- 引擎名称和参数
PARTITION  BY----------------分区的字段
ORDER BY-------------------- 表的排序键
PRIMARY KEY------------------表的主键
SAMPLE BY----------------- --采样表达式
TTL -------------------------定义行数据的存储时间,磁盘和卷之间的数据片段的自动移动的逻辑。
STTINGS ---------------------控制MergeTree的行为的额外参数

4.3 MergeTree 的重要参数:

重要的参数:
1.index_granularity :索引的粒度,以行数为单位,表示索引的标记(mark) 之间的最大行数,默认值:8192.
2.index_granularity_bytes: 索引的粒度,以自己为单位,表示索引粒度的最大字节大小,默认值是10Mb ,如果设置该参数为0, 将仅按照行数限制索引粒度大小。
3.use_minimalistic_part_header_in_zookeeper: 数据片段(part) 头在Zookeeper 中的存储方法,设置为1,紧凑存车处数据片段头信息,极大减少Zookeeper 的存储数据量。
4.storage_policy : 存储策略,存储策略定义了使用多块社保进行数据存储的逻辑。
其他的参数设置可以用查询默认表:
select * from system.merge_tree_settings

4.4 建表实例


 
// 创建不分区表
CREATE  TABLE merge_demo
( srcip STRING, destip STRING ,date_time DATETIME)
 ENGINE=MergeTree() 
 ORDER BY srcip SETTINGS index_granularity = 8192;
// 插入数据
insert into merge_demo values('113.248.234.232','123.212.22.01','2018-07-12 14:25:31'),
('113.248.234.231','123.212.22.01','2019-08-15 14:25:31'),
('113.248.234.230','123.212.22.01','2020-09-20 14:25:31'),
('113.248.234.232','123.212.22.01','2018-10-12 14:25:31'),
('113.248.234.231','123.212.22.01','2018-11-28 14:25:31')
// 常见分区表
 CREATE  TABLE merge_partition_demo
 ( srcip STRING, destip STRING ,date_time DATETIME)
 ENGINE=MergeTree() 
 PARTITION BY toYYYYMM(date_time)
 ORDER BY (srcip);
 // 插入数据
insert into merge_partition_demo values('113.248.234.232','123.212.22.01','2018-07-12 14:25:31'),
('113.248.234.231','123.212.22.01','2019-08-15 14:25:31'),
('113.248.234.230','123.212.22.01','2020-09-20 14:25:31'),
('113.248.234.232','123.212.22.01','2018-10-12 14:25:31'),
('113.248.234.231','123.212.22.01','2018-11-28 14:25:31');

可以看出分区表和普通表的存储不同如下图
22222222222222222.jpg

文件解释:

1.checksums.txt:校验文件的正确性和完整性。
2.columns.txt:存储列的信息,包括数据类型。
3.count.txt : 存储分区目录下数据的总行数。
4.primary.idx : 存储索引数据的文件。稀疏索引,能够加速查询。
5.bin文件:存储数据的文件, 以压缩格式存储,默认LZ4。
6.mrk文件:存储列的数据标记的文件。
7.partiton.dat:存储存储分区表达式生成的值。使用二进制格式存储。该文件只在分区表中存储。
8.minmax_*文件: 存储能当前目录下, 分区字段对应的原始字段的最小和最大值
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,390评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,821评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,632评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,170评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,033评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,098评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,511评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,204评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,479评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,572评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,341评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,893评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,171评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,486评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,676评论 2 335

推荐阅读更多精彩内容