3月14日:集中式是否可能转化为分布式?

在需求、数据和软件愈来愈碎片化的驱使下,集装箱包装的微服务(Micro-Service)将成为主流,这些微服务在运行时间(Run-Time)经常需要动态性组合成为各式各样的 App 来支撑企业多变的业务流程(Business Process)。

Docker 和 Micro-Service 一定是引领未来新时代的,但实际上这种技术趋势也有一定传承性,是集中式计算走向分布式计算道路上的一个里程碑。虽然“颠覆”这个词已经被互联网玩坏了,不过大教堂与集市所揭示的软件开发模式已经从早期的互相竞争(Linux & Windows 时代),逐渐兼容(OpenStack & VMWare 时代)走向引领未来(Docker & Micro-Serivces 时代)的新时代。

@天外非仙 提出一个非常有意思的点,是否能把集中式计算转化为分布式,那么未来所有应用都可以靠分布式进行低成本横向扩展。

这个问题其实关乎于两个前提,一是分布式是否能取代集中式的竖井架构,二是新的应用是否都是分布式的领域。

从极限层面看,数学理论决定了分布式不可能取代集中式,横向扩展替代不了纵向架构。谷歌的大数据体系很大程度是基于马尔科夫模型的,也就是假设现在状态只和它之前的一个状态相关,不考虑复杂的迭代关系,因此便可以实现分布。但是现实中很多问题,马尔科夫模型并不适用,但也可能有更深的数学理论可以适合分布式。

从成本来看,目前分布式仍需要建立在一定规模之上。譬如邮政储蓄银行改成分布式系统之后,维护量高出许多,导致高昂的维护成本,通常这类需要技术实力支撑的组织都需要面对大量用户,例如提供服务的公有云或运营者,都倾向于系统架构的分布式。如果成本部分是个伪命题,那么分布式的弹性将成为下一步需要核心解决的问题。

在某些领域,分布式仍然不能解决全部问题。有的应用追求数据一致性,而弹性和分布式仍很难解决这个问题。尤其是大数据领域,分布式只能做“筛子”,做不了“螺丝刀”。

拿视频分析处理举例,视频分析处理必须在规定的时间内处理完一帧图像,其中用到了光流的处理,需要大量计算。单 CPU 是顺序计算,想要用 GPU 和 fpga,但如要用到他们,就必须把算法分解为可并行运算的单元,最后并行的结果还是要综合,那么最终的时间取决于并行中最长时间的算法。整个业务中,既有并行也必须有串行。

此外,分布式领域里面网络传输浪费的时间也是个待解决的大问题。容器内的应用不可能独立,必然要跟其他部分交换数据。运营商的复杂系统不可能整个搬到容器里,那么如何进行数据交换便成为关键的问题。远程分布用高速网络,机器内部用高速传输接口,比如双端口内存,双接口存储等等,都需要更加进步的系统设计。目前尚没有存储、内存、CPU、网络、GPU都可以热插拔,并能有效管理的操作系统,再加上现在分布式大行其道,软件商的热插拔也更为重要。

容器化起来之后,这样的系统便有机会得以实现。容器技术会把 OS 这层变薄,只需要处理操作系统层面的问题变成为可能。—— Ben

目前 VMWare 的 FT 特性可以实现两台服务器指令级保持同步,2013年的时候验证过,当时只支持最简配置的 VMWare,单 CPU,内存不大于63MB。但对于多 CPU 是有路标规划的。但2013年时候的测试结果显示性能损耗非常严重,大约为损失70%,所以还只能在实验室玩玩。乐观估计是在三年内,实现成千上百的 CPU 可以热插拔。想像一个机器三个笼子:CPU,内存,硬盘。然后笼子之间的资源可以自由组合、任意划分、热加热减。各个笼子间通过硅光互联。好了,参考设计就说到这里,如有需要,欢迎和@天外非仙 进一步交流。

整理 By Fei

-----------------

感谢贡献人:

天外非仙

红熊猫

杜玉杰

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,590评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,808评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,151评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,779评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,773评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,656评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,022评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,678评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,038评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,756评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,411评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,005评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,973评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,053评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,495评论 2 343

推荐阅读更多精彩内容