大数据

对大数据的误解和大数据的四种力量

大数据和人工智能、云计算一起,已经成为大科技公司的技术标配。
该如何理解大数据技术?这项技术对我们有什么影响?这些基本的问题,不少人却并不清楚。

数据集的大小经常被高估。其实所需要的数据集的大小,跟数据本身的效果、数据的真实程度等都有关。
谷歌的数据之所以这么有价值,其实原因也不完全是因为谷歌能拿到的庞大的数据量,还因为,人们在自己的电脑上输入关键词、进行搜索时,都很诚实。他们不需要考虑社交压力、周围人的眼光等等。
“你未必总是需要大数据,才能得出重要见解,你需要正确的数据。”大数据革命跟收集更多的数据无关,而是跟收集正确的数据有关。
谷歌不是仅仅凭借着能够比其他搜索引擎搜索到更多的内容,就成为世界上最大的搜索引擎公司,它凭借的是可以搜索到更好的数据。这跟谷歌的算法有关。谷歌的算法,按照一个网页被链接的数量来对搜索结果排序。

大数据的四种力量。这四种力量,也并不都同数据集本身的大小相关。
1、提供了新类型的数据。
思想家,都会从性的角度,来解释人类的很多行为。这些思想家更多还是在观念层面进行思考。而现在,大数据时代的研究者,有了一项让那些过往思想家羡慕不已的数据:人们在互联网上搜索和观看色情作品的数据。这些独特的数据来源,能够让研究者进入以前只能靠推理和猜测的领域。
大数据的力量在于,重新想象什么东西有资格成为数据,提供之前从来没有收集过的信息,让人们可以研究。
2、提供了诚实的数据。
在数字时代出现之前,可想而知,由于考虑到社会压力等因素,人往往会隐藏起来那些会让自己难堪的想法。即使面对询问,也不会坦诚相告。在数字时代,在互联网上,尤其是可以匿名的网站上,人们往往会透露出自己的想法。
“大数据使我们终于可以看清人们真正想要什么和真正做了什么,而不是人们说自己要什么和做了什么。”
人们说自己想要的,跟自己实际想要的不一致。奈飞不再要求用户告诉自己他们想看什么电影,而是根据用户点击和观看的数据建立一个模型,用模型来推测用户想看什么电影。结果,用户果然越来越频繁地造访奈飞,在上面看了越来越多的电影。算法比你更了解你自己。
3、让我们可以把焦点放在人口中的一个很小的子集,去进行研究。
当然,这要求对小的子集,也有大数据量。打个比方,为了将照片的一小部分放大后还能看清楚,照片需要有很高的像素。同样,为了能够清楚放大检视数据的小子集,每一个小子集中都需要大量的数据。大数据允许我们有意义地放大检视数据集的细部,获取新的洞察。”
4、允许研究者进行因果关系实验。
大数据可以允许研究者进行快速而且可控制的因果关系实验,而不仅仅是相关性。
这种测试在很多互联网公司被称作是A/B测试。“你不能假设任何事,必须针对每件事都进行测试才行”,“如果我们了解人性,根据我们的生活经验就能判断答案是什么,那么测试就不会有价值。但事实上,我们不了解人性,所以测试才这么有价值。”
这种方法,互联网公司已经大量使用,而现在和将来,社会科学家也可以使用,从而把以往模糊的研究,变得更科学。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,378评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,356评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,702评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,259评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,263评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,036评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,349评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,979评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,469评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,938评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,059评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,703评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,257评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,262评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,485评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,501评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,792评论 2 345

推荐阅读更多精彩内容

  • 什么是大数据?不要再举例说啤酒和尿布的例子了,Gartner的分析师Doug Laney在讲解大数据案例时提到过8...
    晨硕杂谈阅读 4,519评论 0 16
  • 云安全联盟大数据工作组发布 译者:李毅 中国惠普大学资深培训专家 ** 摘要 **在本文中,我们提出了一个大数据...
    Leo_Liyi阅读 6,258评论 0 22
  • 本篇是对Scalers:知识付费要过时,行动付费时代要来临文章的学习和分析。 1. 很棒,用大数据引出热点问题。值...
    禾十三阅读 386评论 0 2
  • 文:酷啡生活 这几年创业很火。很多大学都有创业相关的课程,各种创业孵化器铺天盖地。 曾经听过,创业是所有男人的梦想...
    海兰生涯阅读 1,151评论 5 26
  • 更喜春来, 溪桥柳岸盈波翠。 竞开蓓蕾, 处处争相缀。 想那痴人, 自把它来配。 蜂蝶醉,海棠春睡, 才起多娇媚。
    就爱嗑瓜子阅读 334评论 0 5