面对数据爆发式增长,我们如何应对

我们的世界风起云涌,热闹非凡,从互联网-到移动互联网-到现在很火的物联网,从大数据-到云计算到目前的机器智能,AI等。

目前社会上的数据量快速增长,目前一天生成的数据量,已经超过了从有人类文明到2000年间的所有数据之和,随着物联网时代的到来,每天生成的数据还将出现指数型增长,我们将如何应对如此大规模的数据爆发式增长,我想这个是一个值得从业者深思的课题吧。

在数据量增长到TB时代,我们还可以勉强使用数据库进行统计、分析和存储等,oracle勉强可以胜任,db2和TD 可以较好的完成TB数据量级的任务。

在数据量增长到PB时代,我们或许可以使用MPP数据库勉强完成这项任务,MPP数据库在很多方面都有大的改进,使用列式存储等技术可以更高的查询效率,当然也有其他很多改进,就不在一一叙述了。目前也已经有地方都已经在推进传统BI迁移到MPP中了,当然也包括我们目前所在项目组。

在PB时代,还有很多互联网公司使用什么NoSql或者newSql 等各种技术,对这些没有深入研究,但是道理基本是想通。我想说的是那么了EB时代,我们传统BI使用什么那?据说谷歌已经在考虑使用什么GDD技术解决EB时代的数据处理了,但是当数据量到达ZB和YB时代怎么,可能更多人都没有好的办法。

也许我们可以不用杞人忧天,我们一个行业的数据量不会快速到达什么EB时代,是的,我也承认这个问题,作为个人我们可以不考虑这个,但是作为一个大数据人,我们可能就得考虑这样的前沿的技术难题吧。

身为一个传统行业的大数据人,我们面临的环境当然不可比拟目前一线的互联网公司,同时我们的数据可能更多结构化的,数据量的增长也是可以预见,但是我们就可以不居安思危去思考吗?我们应该如何做的更好,我们应该如何主动改变去适应未来,这个问题我将持续思考。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容