CPU与代码向量化

首先感谢来自tidb徐老师的讲解!此文记录一下看完视频后的读后感。
论文地址:原文
论文备份:百度云 提取码:fxde
视频地址:视频:解读论文《Everything You Always Wanted to Know About Compiled and Vectorized Queries But Were Afraid to Ask》

向量化

What?

首先,什么是向量化?这里主要运用到的是一维的向量,学过线性代数可能知道,一维的向量都是一类的,例如高度、长度、重量。我们可以用一个一维的向量表达多个object的某一个属性,表现到代码里面的就是数组。

Why?

首先要提到两个概念。

  • 行存储(row store):处于同一行的数据连续存储;比较有利于整行数据读取的操作。
  • 列存储(column store):处于同一列的数据连续存储;比较有利于列数据运算的操作。

为什么需要向量化?在关系型数据库当中,OLTP(Online Transaction Processing)数据库一般是按行存储(row store)的,意思就是同一行数据在存储空间当中是连续的。

下面会举个例子:
在下表中执行:select * from age > 15 and tall < 176

id name age tall
1 anker 25 175
2 john 12 165
3 andy 33 178

非向量化代码主要是会拿到了同行的其他无用数据,这对于CPU缓存极度不友好,会造成频繁缺页(page)。

非向量化代码(golang)

func where(rows []*Row) []*Row {
    var result []*Row
    for _, row := range rows {
        if row.age > 15 && row.tall < 176 {
            result = append(result, row)
        }
    }
    return result
}

向量化代码(golang)

func whereAge(cols []*Col) []int {
    selectedCol := make([]int, 0)
    for i, colValue := range cols {
        if colValue > 15 {
            selectedCol = append(selectedCol, i)
        }
    }
    return selectedCol
}

func whereTall(cols []*Col, selected []int) []int {
    selectedCol := make([]int, 0)
    for _, index := range selected {
        if cols[index].tall < 176 {
            selectedCol = append(selectedCol, index)
        }
    }
    return selectedCol
}
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,175评论 5 466
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,674评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,151评论 0 328
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,597评论 1 269
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,505评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 47,969评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,455评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,118评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,227评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,213评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,214评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,928评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,512评论 3 302
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,616评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,848评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,228评论 2 344
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,772评论 2 339

推荐阅读更多精彩内容