冷数据、温数据、热数据,难道数据也是有温度的?

文|乡野山人左大瑞
今天下午开会讨论一个业务方的需求,我去旁听,领导提了一句“热数据”,当时心里一脸蒙蔽,数据还能有温度?

一脸懵逼的网络图.jpeg

临下班的时候,整理今天的会议笔记,看到了打着问好的热数据,于是决定查一查到底是什么。

资料并不多,不过并不妨碍对他的初步认知,不是真正部署数据库,我觉得目前的了解够用了(大言不惭,若有高手看到,还请继续补充)

下面会从两个层面上来说:一个是数据的访问频次层面,一个是数据分析层面。

一,访问频次

从字面意思来简单的说,热数据就是访问的多,门庭若市,自带体温且有可能摩擦起热,你懂的,于是温度就起来了。冷数据就是基本上没什么客人来访,门庭冷落车马稀,没人气儿,空气里都冷了几分。

热数据:是需要被计算节点频繁访问的在线类数据。
冷数据:是对于离线类不经常访问的数据,比如企业备份数据、业务与操作日志数据、话单与统计数据。

两个不同的访问频次,就导致了在数据库搭建的各自不同,有一句话简单明了:

热数据就近计算,冷数据集中存储

所以,热数据因为访问频次需求大,效率要求高,所以就近计算和部署;冷数据访问频次低,效率要求慢,可以做集中化部署,而基于大规模存储池里,可以对数据进行压缩、去重等降低成本的方法。

由此看来,数据基于访问频次部署的好的话还能给公司节省服务器,这就造福了多少因为服务器夭折的项目。


以视频为例的冷热存储

二,数据分析层面

这两年,互联网公司开始打数据的旗号增加公司价值和估值,比如我上家公司,是一个传统体检行业下的互联网子公司,是希望把做体检积累了很多年的数据进行分析,做健康管理和大病预测。以为这个海量数据,真的是吸引了很多高才能人事,也是我和科学家们打交道最多的一份工作,有医学博士、数据科学家、图像处理穿甲、返聘的主任医师。
但是但是,在建立数据模型的时候发现,这些数据只是刚刚起步,还处于数据清洗的阶段,甚至有些数据,还不能很好的指标化,文字化。
所以,就算打着大数据的旗号,也无奈的没能做出数据分析的事情,所以在生产数据的时候,做好数据部署和数据分析的准备,提前做好字段拆分,埋点部署……

从数据分析的层面来看,不仅有冷热两种数据,还有温数据,而提出这个概念的是个灯,个灯是这么介绍的:

个灯独有的数据技术引擎:冷数据、温数据和热数据。冷数据——性别、兴趣、常住地、职业、年龄等数据画像,表征“这是什么样的人”;温数据——近期活跃应用、近期去过的地方等具有一定时效性的行为数据,表征“最近对什么感兴趣”;热数据——当前地点、打开的应用等场景化明显的、稍纵即逝的营销机会,表征“正在哪里干什么”。
它基于这三个不同温度的数据,打造了个灯的三条业务线,志在打造个灯广告产品生态圈,多多赚钱。

个灯将其说成是数据技术引擎,对于我来说,这个的层面更像是数据的分析和应用层面,上面的第一点说的是打地基,而第二点更像是盖楼还是盖房。

个灯的三温度赚钱工具zhuan qian zApp

不管是哪个层面的,当数据动起来的时候,才会产生价值,而数据的价值,就像是一座有无数宝藏的矿山,挖矿的人对于数据的洞察力、提取力和分析力决定了他能挖出钻石还是煤炭。

互联网发展的太快,快到政府意识到的时候,都有点儿跟不上节奏了,所以现在海量的数据在各个公司下,没有有效且有力的监管。总有一天,数据全权开放给政府,数据共享,到了那一天,数据将比自己更了解我们。而那个时候,是不是就像《未来简史》里说的,我们都有一个比我们自己更懂自己的机器人管家,想想其实有点儿小恐怖,毕竟我心里有一些小秘密,没有告诉任何人。

文中对于冷热数据的人士上若有不对观点,请随时指正,多谢!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容