[译文]图论是理解大数据的关键

Neil Zhu,简书ID Not_GOD,University AI 创始人 & Chief Scientist,致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标,带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者,他和UAI一起在2014年创建了TASA(中国最早的人工智能社团), DL Center(深度学习知识中心全球价值网络),AI growth(行业智库培训)等,为中国的人工智能人才建设输送了大量的血液和养分。此外,他还参与或者举办过各类国际性的人工智能峰会和活动,产生了巨大的影响力,书写了60万字的人工智能精品技术内容,生产翻译了全球第一本深度学习入门书《神经网络与深度学习》,生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程,均受学生和老师好评。

Is Graph Theory Key to Understanding Big Data

By DR. Roy Marsten, Emcien

图论起源于著名的柯尼斯堡七桥问题,并且与一位伟大的数学家L. Euler相关。插一句,这个名字可不是那么容易读准确的。在读研的时候,常常听起宋公方敏的德语发音,无比高大上。而到现代,图论的发展异常迅猛。由于其本身的通用性和抽象能力的强大,现在的世界已经是图论发挥其重要作用的天地,大有囊括自然科学的趋势(成为 一个框架,能够供众多理论在里面玩耍)。这篇文章是一个初级介绍,从搜索巨头Google说起,点破了现在大数据场景下图论最为关键的应用。

在Google诞生后的一小段时间内,它已经成为了人们日常生活的必须品。

在众多美剧中,你都可以看到主人公使用Google来查询人物或者事物,在《Supernatural》中就常常看到这个场景,地址,历史,人物关系都可以使用搜索引擎获得。

搜索已经成为了难以避免的生活方式,由于他们集中服务和产品在索引因特网这一杰出的工作之上。

Google的网络爬虫和PageRank算法革新了人们搜索网络的方式,使用分类数字和网络连接的重要性比以前更快地传达了相关信息。

这些网络连接和网站一起形成了一个连接图。这不是我们一般意义上的“图画”,而是一个表象背后的众多个体的关联图。

PageRank使用这些连接来判断一个网页有多重要或者多么有价值。被众多第三方网站链接指向的网页更可能出现Google搜索的结果中,其原因是那些网站是具有一定的权威性的信息来源。Google搜索结果一般来说要更快更好因为他们的算法将网页之间的链接关系发挥到了极致。

通过这样去思考关于链接和与其他类型的数据的关系,我们可以揭示数据的本性(the nature),并知道什么是相关的,什么并没有关系,并且知道什么是重要的,什么不重要。

When a Connection Becomes a Pattern Becomes a Graph

来看看如何对数据进行分析和处理来揭示一个问题的答案,理解传统的与数据交互的方式很重要。大多数的寻求答案的方式的本质是搜索。

搜索是一个本质问题,这个是理论计算机科学中有过相应的讨论的。搜索就对应着一个搜索空间,这里是可能的所有的解的集合。而我们就是要在这里面找出满足给定要求的解集合。然而这与我们使用的搜索引擎时提及的搜索是不同层面上的概念,然而察其本质仍是一个。

搜索始于一个问题的形成。我们若是可以更好地为已有知识和他们和数据的关系,便更有可能通过相应的问题获得最终答案。如果你需要找到你的钥匙,你可能会问“我的钥匙在哪里?”。这就不如“我的钥匙在柜台上么?”更加准确了。第一个问题可能太过宽泛了,而第二个则在你的钥匙在柜台上的时候才算是一个好的问题。

查询数据库的方式和上面相似。为了获得想要的结果,你需要构造与数据相关的查询语句。总有更多你可以使用的语句来运行。但是极少的查询语句可以让你得到相应的解答。

这个极为困难的问题让数据科学相当棘手,不过也正是数据科学家们的价值所在。那群最厉害的人是既了解数据本身,也理解用来回答的那些技术的人们。

如果网络是你的数据集,那么搜索引擎就是你的查询工具。

搜索引擎在爬取网络,索引网页使得这些数据可以通过搜索获得。这些搜索的结果相差很大,不过通过创建更好的搜索关键词,用户可以改变自己的查询结果。搜索引擎在不断地提高准确度,而创新时刻直到2000年才暴增。

Google的PageRank渐渐流行,整合和排名内容通过每个超链共享的链接(organizing and ranking content by connections that each link shared)。使用图的链接,Google已经量化了网页的链接来帮助用户更快的获得正确的结果。当然更好的查询语句会让用户得到更加准确的结果。

查询和PageRank算法之间有一个特定的关系。Google已经映射了或者图化了网页之间的关系来识别那些更加相关的网页。没有这样的关联的网页和联系的映射,Google需要更好的查询来获得一个令用户满意的结果。甚至使用了加强的搜索技术,现代数据问题可以让构造正确的更加准确的查询更加困难或结果更糟糕。

理解数据之间的这些关系,不管它是网页、产品、货车的特征、信息中的字词或者病人的症状、治疗和收入等等,这是接受图的第一步,也是今后人们看待数据的方式。

今天所拥有的数据,还有我们观察数据的方式,已经深深迈进图论的领域。在未来,我们借助来理解数据将带来一个搜索得到结果的飞越。创建和分析可以让答案自动的得出。当我们让数据自己互联时,其意义已经自动地出现了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343

推荐阅读更多精彩内容