5月15日:技术夜话(第一期)

注:本文是根据“阿Ben部落”微信群“技术夜话”聊天记录整理而出,其版权归“阿Ben部落"微信群所有,如要转载,需要先行请联系群主授权

今日嘉宾:James.Meng(蒙晓净),UCloud存储部门负责人,主要负责参与UCloud存储产品的研发和运营工作,产品涵盖云硬盘、云数据库、云内存存储和对象存储等, 关注存储和云计算相关技术领域。欢迎交流存储相关问题~
James.Meng(蒙晓净),UCloud存储部门负责人,主要负责参与UCloud存储产品的研发和运营工作,产品涵盖云硬盘、云数据库、云内存存储和对象存储等, 关注存储和云计算相关技术领域。

:大家晚上好,感谢热情的各位捧场,今晚主要是对UCloud存储方面的产品与大家做一个交流。我先简单以一张图片介绍一下目前现有的存储产品吧。我们存储方面现在主要云数据库、内存存储、云硬盘以及对象存储这几个产品。


现在咱们就直接进入主题吧,存储相关的话题都可以提问:)

Q1:能介绍下udisk的架构么…上次季总似乎有提到贵司是iscsi出块设备?
:我们UDISK是支持ISCSI协议的,这个主要是由IO接入层来支持。
架构方面我先简单说一下吧,整体主要是由chunk, master, proxy这几个核心模块组成。chunk是负责最底层的存储读写,master作为中心节点管理元数据等信息,proxy负责解析协议,并将IO转发给chunk进行写入,同时这里会使用多份冗余的方式

Q2:proxy……兼容了哪些协议?
:主要是ISCSI以及我们自己开发的驱动的协议

Q3:基于ceph来做的么?
:UDISK底层是直接操作裸盘的,直接把裸盘块设备加入资源池中进行管理,没有使用文件系统。整个系统这里没有基于开源产品,都是自己重新搭建的。UDB中,数据库的同步用的是什么技术,同步的频率是怎么样的?UDB目前是支持有mysql/mongodb 这2种数据库,都是使用其原生的同步方式

Q4:serversan形态?
:类似吧,对于上层应用来说可以认为是一个SAN,只是内部的管理方式还是有自身的特殊处理的。

Q5: 裸盘?单节点raid么?
:不是的,这里的冗余都是通过分布式来解决,会确保冗余的数据分布在不同的机器的不同磁盘上。

Q6:MySQL高可用机制如何实现的,支持分布式数据库吗?
:UDB目前还没有支持高可用,主要还是提供最基础的单元服务。目前需要用户利用创建从库或是集群的功能,然后自己来处理切换的事情。但我们也正在研发基于UDB的高可用产品,以完善这个特性。

Q7:3副本么?支持EC么?有mds节点么?
:UDISK 目前是多副本冗余的形式

Q8:那在UDB中, 如果有大量查询进来,你们有做哪些优化?
:UDB的默认配置参数是有做了一些优化的,用户也可以自行根据自己的场景再自定义优化。如果如果并发查询比较多,达到了DB的性能瓶颈,是可以对DB做相应的升级,同时也会有提供DBA服务支持。不过建议还是架构上需要进行一些调整,使用UMEM增加一层缓存,增加只读的从库,尽可能减少对DB的访问。同时业务最好是有做分库分表等处理,以便分流

Q9:我想问一下UDB的弹性扩展能力?
:UDB的弹性扩展这里主要是针对单实例自身的升级了,比如升级内存和磁盘容量这些。

Q10:UFile,我想问单个对象 大小的限制是多少,aws是5TB
:单个对象的大小,我们最大也是支持5T。容量嘛也是没有上限的。

Q11:主要应用在哪些场景尼?视频大文件性能如何?
:上边这个问题是针对UFILE对象存储吧?我就以UFILE这个简单说下吧
对象存储的应用场景还是比较广泛的了,比如替代常见的一些共享存储、NFS这些,减少文件系统的束缚。同时他的按需使用、动态扩容特性,对于容量增长比较快的应用来说也是挺NICE的。而且支持HTTP协议,文件可以直接访问。UFILE自身是与我们的UCDN产品紧密结合的,会有对于的CDN加速支持,当然视频、大文件这块也是OK的,都可以有对应的CDN加速

Q12:对象存储可用直接对接分布式计算引擎吗?
:对象存储本身还是用于存储数据了,分布式计算的框架如果其底层支持对象存储相应的协议,也是可以从对象存储上拉取数据进行计算分析的

Q13:往对象存储里上传或下载数据速度有限制吗?
:目前速度都是不限制的,一般主要还是受限于客户端本地的出口带宽。主要是是否可以计算随着数据走,而不是先下载再计算
嗯,这个应该还是产品定位的问题吧,我们对象存储的根本还是更关注于存储本身,分布式计算这块尚不是其关注的重点。但比如图片处理、视频处理这些互联网应用常用的功能,后续也是会有提供的。

Q14:最高能支持多大带宽?哪大数据迁移到云都有什么好的解决方案?
:这个理论上没有严格的上限,本身接入服务是可以平行去扩展的。迁移这块,我就数据迁移到对象存储说说一个思路吧,应该尽可能可以用类似缓存+源站的这种结构形式,把当前的数据源作为对象存储的源,业务数据访问时指向对象存储,当对象存储上没有对应数据时,可以从源站去获取。这种方式应该比较平滑一些。 但迁移的持续时间可能会比较长,故同时也可以用主动同步的方式,把数据也主动推送到对象存储上。 对于这点,我们的UFILE也正在研发相应的特性,以方便用户的数据迁移。:)

Q15:针对虚拟化一些特殊的应用比如虚拟磁盘迁移,虚拟磁盘备份,有做存储加速么?或者普通的业务层面的数据备份,有做存储加速么?
:我们是有在虚拟化这块研发了自己的一个加速模块,用于提高磁盘的随机读写能力。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容