为什么分散式和分布式文件存储对于更好的网络至关重要?

为什么分散式和分布式文件存储对于更好的网络至关重要?

翻译整理自IPFS官方博客。

IPFS和Filecoin的团队解释了分布式数据存储方面的进步以及市场激励措施的有力结合,以创建更安全,更高效的网络。

在不到三十年的时间里,网络已经成为人类历史上最伟大的成就之一,负责科学,技术和商业领域前所未有的收获。这种惊人的增长在很大程度上是由技术人员将互联网的大部分复杂性抽象出来。这些抽象中最大的一个是集中式“云存储”,其中数据存储在由营利性公司主要拥有和经营的大型集中筒仓中。这种架构使得网络变得脆弱,破坏了隐私,允许存储的价格保持在人为高度,并且产生了阻碍数据创新性使用的瓶颈。

网络不需要这种结构。新兴的新技术使我们能够改善网络的底层协议,通过解决内容问题而不是解决问题。这使得网络变得更加安全和强大,我们更少依赖任何一个特定的实体来向我们提供我们所要求的数据。现在,我们不再依赖昂贵的企业来存储和传输人类的知识库,而是可以通过大量的同伴来分发数据,这些人员都是为了存储彼此的数据而付费的。

分散式存储使网络健壮有弹性

今天,互联网上的信息按位置处理:一段特定的内容有一个URL(一种统一资源定位器),它涉及在特定位置托管内容的网络服务器的IP地址。例如,要转到像https://facebook.com/mypicture.jpg

这样的URL ,我们将域名(facebook.com)解析为IP地址(例如31.13.70.36)并在那里查看图片。该URL说“转到31.13.70.36并请求路径中的内容”/mypicture.jpg“。网址始终指向该位置。如果相同的图片托管在另一个站点上,或者甚至是您自己的计算机上,您仍然必须连接到该IP地址并下载内容。

在日常的人类环境中思考这一点很有用。想象一下,我们只能通过副本的物理位置来引用书籍,而不是通过标题,作者或ISBN--只是物理对象的位置。所以如果有人告诉你要读一本书,他们会这样说:“嘿,你应该阅读这本好书,它在纽约公共图书馆第9节,书架3,顶部书架,从左边开始”。现在你必须在那里查看,并得到一个物理副本。在你做之前,你不知道它实际上是什么书; 你只有位置。这显然非常低效。这也是一个岌岌可危的情况 - 如果有人搬书,该怎么办?如果图书馆当天关闭怎么办?还是完全关闭?或者,如果你到达那里,你会首先从左边进入书架3,顶部书架,并且你意识到,这整个时间,

这不仅仅是一个理论问题。最近由哈佛大学领导的一项研究发现,美国最高法院意见中引用的所有超链接中有49%不再有效。意见指向过去某个时间保存了正确内容的位置,但该内容在该位置不再可用。这是脆弱的,低效的,不必要的。这太疯狂了。

相反,考虑一种不同的方式。考虑以什么来解决信息,而不是它在哪里。要做到这一点,我们需要使用不同类型的网页链接。我们不需要使用指向位置的链接,而是需要链接来独特地描述内容本身,如指纹。这种内容处理方法将“什么”与“哪里”分开,因此数据可以通过网络传输,因此任何人都可以在任何地方存储和提供服务。为了创建这些内容寻址链接,我们使用内容的加密哈希作为唯一标识符或指纹。


IPFS,即InterPlanetary文件系统,是一种让我们使用这些内容寻址链接交换数据的协议。在IPFS中,文件或一段数据的哈希指纹就是它的地址。我们使用这些指纹来识别内容,而不是使用服务器的物理位置。这样,当您尝试加载文件时,您可以从任何地方检索它。如果该文件已经在您自己的电脑上,您可以从那里检索它。如果您的网络中的直接邻居有文件,您可以从中检索它。你可能从原始服务器,网络中的其他人,无论是谁。IPFS使用有效的路由算法搜索网络来处理这一切,并且可以对隐私进行调整:例如,只请求来自您信任的对等方的数据。这与其他对等系统所做的相似,但大大放大。您可以使用它来与任意数量的对等设备交换任何类型的文件或数据,并将其直接构建到网络中。

IPFS通过处理基于它的信息来分散网络,而不是它在哪里。这种分散模式可以让Web应用程序在与原始源断开的本地网络中工作,无论是办公室中失去上行链路的聊天室,在各种图书馆中托管的科学论文,在连接性差的偏远村庄的维基百科,或者一个家庭的聊天信使在危机期间。它加强了我们的数字信息,使数据能够适应底层互联网的故障,以密码方式保护数据,并为其提供持久性。您或您分享数据的人可以保存信息副本并在相同的链接上保留多年。IPFS允许网络上的文件存储分散,但第二个问题仍然存在:我们如何创建一个开放,

云存储和集中化的危险

自成立以来,云数据存储已经发展成为功能性的,但留下的许多经济和安全问题未得到解决。为了理解为什么云存储目前昂贵且不稳定,随着时间的推移检查它的演变是有用的。

最早的网站和在线服务运行着自己的网络服务器:专用于向用户提供内容的计算机和硬盘驱动器。在网上业务签署他们的第一个客户或出售他们的第一个产品之前,他们必须投入巨大的资金和时间来设置服务器基础设施。即使产品或服务与计算和数据存储完全无关,几乎每个人都被迫投资并运行自己的硬件,以便拥有网络存在。这是昂贵的,浪费的和耗时的。

2006年,Amazon.com解决了这种浪费的开销,并大胆推出了亚马逊网络服务(AWS)。AWS不再需要开发人员通过将Amazon自己的服务器和存储空间出租给其他人来创建和管理他们自己的服务器基础架构。现在只需稍微付费,公司就可以轻松地存储和提供来自亚马逊的文件,而无需该公司购买自己的硬件。AWS迅速崛起,其他几家大型科技公司也纷纷效仿创建自己的“云”存储解决方案。

云存储允许新的在线业务在一夜之间涌现并迅速增长以满足用户需求。云计算不需要订购新的硬盘驱动器并将它们安装在自己的小型数据中心中,只需几个键盘笔划即可让企业立即扩展。在短短的几年内,云计算变得非常有用和流行,大部分数据都存储在这些云数据提供商中的一小部分中。尽管目前大多数网站都由这些第三方提供商托管,但这种基础设施对最终用户来说仍然很难看到。例如,您是否知道流行的电影流媒体应用Netflix在他们的大部分托管需求中实际使用AWS?尽管亚马逊拥有自己的竞争对手电影流媒体服务(Amazon Prime),但他们也乐意向竞争对手出售主机空间。

目前,构建成功的云数据存储业务非常复杂且具有挑战性。即使开始与现有竞争者竞争,公司也需要在每个大陆建立全球数据中心网络(该市场中的大多数企业在每个大洲都有多个数据中心),构建强大的用户界面以满足众多用户需求,实现全球化销售和营销团队吸引客户,并雇用大型客户支持团队。这些巨大的进入壁垒导致仅有几家大型公司拥有几乎所有的全球云数据存储市场。由于多种原因,这种整合尤其痛苦:用户必须信任这些大型企业参与者以保护其数据免受曝光,转换云提供商的成本尤其高昂,数据存储距离最终用户很远(通常为数百至数千英里),供应商可以激励他们锁定客户并提取溢价。目前的云存储市场几乎没有竞争力或效率,因为它可能会导致最终用户受损。

更令人沮丧的是,世界各地存在大量“潜在”(可用)存储空间,这些存储空间未被使用。这种存储拥有各种实体:大型企业,小型家族企业,地下室有巨大硬盘架的个人,以及所有人笔记本电脑中的小型硬盘。但是,由于前面提到的障碍,任何一个特定的公司或个人都难以通过其额外空间货币化并启动云数据服务。一个更高效的市场可以将原始硬盘空间(例如存储)与所有服务和支持(例如客户服务,用户界面,支付和价格谈判等)分离开来。这将允许硬盘驱动器供应商的多元化和动态市场只专注于硬件,并在存储本身的适当市场上竞争,这将大大降低云存储的价格并允许大量货币化现有容量。这会使云存储更像您购买的商品或公用事业设备,而且您需要的是按照市场的速度购买,而不是像承包,谈判,交易和锁定成本那样的服务关系。但问题仍然存在,我们如何建立一个真正的分散式存储生态系统?内容寻址由IPFS解决,但我们如何鼓励全世界的人们成为存储本身的骨干?输入Filecoin。这会使云存储更像您购买的商品或公用事业设备,而且您需要的是按照市场的速度购买,而不是像承包,谈判,交易和锁定成本那样的服务关系。但问题仍然存在,我们如何建立一个真正的分散式存储生态系统?内容寻址由IPFS解决,但我们如何鼓励全世界的人们成为存储本身的骨干?输入Filecoin。这会使云存储更像您购买的商品或公用事业设备,而且您需要的是按照市场价格购买,而不是像承包,谈判,交易和锁定成本那样的服务关系。但问题仍然存在,我们如何建立一个真正的分散式存储生态系统?内容寻址由IPFS解决,但我们如何鼓励全世界的人们成为存储本身的骨干?输入Filecoin。


Filecoin:支付网络存储您的数据

虽然IPFS让我们可以直接与我们的同行交换数据,而不是依赖中央主机,但Filecoin通过给予我们相互支付的方式来进一步存储数据。Filecoin是一个分散的文件存储网络和协议令牌('token'与'

appcoin'和'cryptocurrency' 交替使用)。把它想像成AirBnB数据存储。在供应方面 - 令牌的采矿方 - 具有未使用存储空间的个人和组织可以将他们的磁盘添加到Filecoin网络并接收客户订单。在需求方面 - 客户 - 个人和组织雇用Filecoin网络来存储他们的数据,并将数据发送给世界各地的许多不同的矿工。

Filecoin借鉴密码学和区块链技术的尖端进展,使这个圣杯成为现实。它使用:区块链,原生的加密货币,可公开验证的存储证明,与抵押品的存储合同,确保高效定价的算法市场,支持微支付和降低交易成本的支付渠道等等。所有这一切加起来就是一个强大的,分散的自我修复网络,可以将来自世界各地的“矿工”的大量存储集中在一起,并提供优质服务,并提供可靠性,弹性和价格的强大保证。它可以自动重新平衡以满足需求,保护内容免受攻击,并且可以从矿工离线时恢复。


世界上数千个实体和数百万人拥有大量未使用的存储空间。通过将所有这些潜在供应带入市场,Filecoin可能会导致在线存储的价格大幅下降。此外,Filecoin启动了强大的优化过程,使比特币获得了巨大的计算能力。通过向网络添加越来越多的存储,Filecoin矿工可以赚到很多钱。

用户不需要一起使用Filecoin和IPFS,但这两个组合是一个完美的组合,可以解决当前Web的重大缺陷。目前使用IPFS的用户需要从他们自己的计算机,现有的集中式云提供商'取消'(存储和提供)他们的数据,或者取消主动选择托管该内容的其他IPFS用户的慷慨。Filecoin为任何IPFS用户提供激励,以确保他们的数据存储在多个分散节点中。很快,任何人都可以用Filecoin支付大量的分散存储提供商来强大地存储他们的文件,确保他们的数据可以安全快速地提供给那些请求它的人。在IPFS和Filecoin上存储文件的用户将受益于优化的存储成本,各种存储提供商,更快的数据服务,

在分布式Web上保护隐私和正义

在由IPFS和Filecoin支持的网络上存储私人数据意味着部分数据可能分布在由完全陌生人操作的许多计算机上; 然而,显然,这比隐藏的云系统更适合隐私。今天,各种各样的云存储提供商,无论大小,都将他们的用户数据完全保存在明确未加密的数据中。甚至有些人已经加入了静态加密,通过控制用户的加密密钥来实现,而不是创建真正的“不知情”或“零知识”系统。这是一个危险的安排,因为这意味着客户数据可能会被黑客或其他攻击者盗用并泄露或出售。用户(或他们使用的应用程序)应在将数据提供给这些云存储提供商之前端到端地对其数据进行加密,而不管它们是否集中。

将用户数据分配给不属于某个公司或服务的大量存储计算机可能会增加数据的暴露度。但是,如果有价值的数据被存储在端对端的加密中,那么攻击者可以访问加密的文本,而无法了解其中的内容。无论存储网络是大型云提供商还是像Filecoin这样的激励市场,情况都是如此。这是一种不同的安全模式,我们不得不始终对所有内容进行加密,只有用户可以访问密钥,并且单个云提供商的故障不会损害数据的弹性。

市场协议:利用网络和激励措施来创造更好的产业

在协议实验室,我们相信市场协议 - 由协议令牌支持的分散式网络 - 是互联网创新的下一波。我们相信这些技术有可能重塑我们在世界范围内组织商业和交易价值的方式。部分原因是市场协议在激励机制,参与者和网络创造价值的能力之间呈现出全新的动态。在当前的互联网创新模式中,当一家公司创建网络经济时,他们捕获了大部分网络价值。虽然数百万人参与为网络创造价值,但这些参与者很可能不会在网络中获得利益。大部分长期价值授予少数富有的投资者和早期股东。相比之下,市场协议由协议令牌推动,协议令牌占网络总体价值的百分比。参与市场议定书的补偿是网络中的一项利益,该网络随着网络价值的增长而缩小。

例如,Airbnb和Uber是建立网络经济的公司。他们向服务提供商(Airbnb主机和Uber司机)收取服务费,而不是他们网络创造的整体财富的一部分。这确保了少数股东获得巨大回报,而帮助网络创造价值的人(司机,房主,用户)在这方面可能不会公平分享。

像Filecoin这样的网络体现了创建网络价值的参与者通过网络中的股份获得补偿的另一种选择。在Filecoin网络上存储和分发数据的矿工可以获得Filecoin协议令牌,他们可以选择持有这些令牌或将其清算为现金。由于Filecoin协议令牌旨在跟踪存储网络创造的价值数量,因此Filecoin经济的增长将转化为令牌价值的增长。选择持有令牌的矿工和用户将分享上涨空间,为创造价值获得公平的回报。任何个人参与者获得和持有的代币越多,他们就有更多的激励来支持网络并确保其成功。

市场协议仍处于发展的早期阶段,他们的承诺是伟大的。我们很高兴能够站在这些技术进步的前沿,使互联网及其数据网络更加安全,稳健和快速。就像网络已经创造了巨大的连通性并释放了人类的潜力一样,我们认为下一波市场协议也将为未来做同样的事情。最初于2017年6月20日作为简明语言讲解员在Coin中心出版。感谢Peter Van Valkenburgh为此阅读草稿。

原文地址:https://protocol.ai/blog/why-is-decentralized-critical/

翻译整理:IPFS后花园

关注微信公众号:IPFS后花园了解更多内容

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容