注:本文是根据“阿Ben部落”微信群“技术夜话”聊天记录整理而出,其版权归“阿Ben部落"微信群所有,如要转载,需要先行请联系群主授权
今日嘉宾:James.Meng(蒙晓净),UCloud存储部门负责人,主要负责参与UCloud存储产品的研发和运营工作,产品涵盖云硬盘、云数据库、云内存存储和对象存储等, 关注存储和云计算相关技术领域。欢迎交流存储相关问题~
James.Meng(蒙晓净),UCloud存储部门负责人,主要负责参与UCloud存储产品的研发和运营工作,产品涵盖云硬盘、云数据库、云内存存储和对象存储等, 关注存储和云计算相关技术领域。
蒙:大家晚上好,感谢热情的各位捧场,今晚主要是对UCloud存储方面的产品与大家做一个交流。我先简单以一张图片介绍一下目前现有的存储产品吧。我们存储方面现在主要云数据库、内存存储、云硬盘以及对象存储这几个产品。
现在咱们就直接进入主题吧,存储相关的话题都可以提问:)
Q1:能介绍下udisk的架构么…上次季总似乎有提到贵司是iscsi出块设备?
蒙:我们UDISK是支持ISCSI协议的,这个主要是由IO接入层来支持。
架构方面我先简单说一下吧,整体主要是由chunk, master, proxy这几个核心模块组成。chunk是负责最底层的存储读写,master作为中心节点管理元数据等信息,proxy负责解析协议,并将IO转发给chunk进行写入,同时这里会使用多份冗余的方式
Q2:proxy……兼容了哪些协议?
蒙:主要是ISCSI以及我们自己开发的驱动的协议
Q3:基于ceph来做的么?
蒙:UDISK底层是直接操作裸盘的,直接把裸盘块设备加入资源池中进行管理,没有使用文件系统。整个系统这里没有基于开源产品,都是自己重新搭建的。UDB中,数据库的同步用的是什么技术,同步的频率是怎么样的?UDB目前是支持有mysql/mongodb 这2种数据库,都是使用其原生的同步方式
Q4:serversan形态?
蒙:类似吧,对于上层应用来说可以认为是一个SAN,只是内部的管理方式还是有自身的特殊处理的。
Q5: 裸盘?单节点raid么?
蒙:不是的,这里的冗余都是通过分布式来解决,会确保冗余的数据分布在不同的机器的不同磁盘上。
Q6:MySQL高可用机制如何实现的,支持分布式数据库吗?
蒙:UDB目前还没有支持高可用,主要还是提供最基础的单元服务。目前需要用户利用创建从库或是集群的功能,然后自己来处理切换的事情。但我们也正在研发基于UDB的高可用产品,以完善这个特性。
Q7:3副本么?支持EC么?有mds节点么?
蒙:UDISK 目前是多副本冗余的形式
Q8:那在UDB中, 如果有大量查询进来,你们有做哪些优化?
蒙:UDB的默认配置参数是有做了一些优化的,用户也可以自行根据自己的场景再自定义优化。如果如果并发查询比较多,达到了DB的性能瓶颈,是可以对DB做相应的升级,同时也会有提供DBA服务支持。不过建议还是架构上需要进行一些调整,使用UMEM增加一层缓存,增加只读的从库,尽可能减少对DB的访问。同时业务最好是有做分库分表等处理,以便分流
Q9:我想问一下UDB的弹性扩展能力?
蒙:UDB的弹性扩展这里主要是针对单实例自身的升级了,比如升级内存和磁盘容量这些。
Q10:UFile,我想问单个对象 大小的限制是多少,aws是5TB
蒙:单个对象的大小,我们最大也是支持5T。容量嘛也是没有上限的。
Q11:主要应用在哪些场景尼?视频大文件性能如何?
蒙:上边这个问题是针对UFILE对象存储吧?我就以UFILE这个简单说下吧
对象存储的应用场景还是比较广泛的了,比如替代常见的一些共享存储、NFS这些,减少文件系统的束缚。同时他的按需使用、动态扩容特性,对于容量增长比较快的应用来说也是挺NICE的。而且支持HTTP协议,文件可以直接访问。UFILE自身是与我们的UCDN产品紧密结合的,会有对于的CDN加速支持,当然视频、大文件这块也是OK的,都可以有对应的CDN加速
Q12:对象存储可用直接对接分布式计算引擎吗?
蒙:对象存储本身还是用于存储数据了,分布式计算的框架如果其底层支持对象存储相应的协议,也是可以从对象存储上拉取数据进行计算分析的
Q13:往对象存储里上传或下载数据速度有限制吗?
蒙:目前速度都是不限制的,一般主要还是受限于客户端本地的出口带宽。主要是是否可以计算随着数据走,而不是先下载再计算
嗯,这个应该还是产品定位的问题吧,我们对象存储的根本还是更关注于存储本身,分布式计算这块尚不是其关注的重点。但比如图片处理、视频处理这些互联网应用常用的功能,后续也是会有提供的。
Q14:最高能支持多大带宽?哪大数据迁移到云都有什么好的解决方案?
蒙:这个理论上没有严格的上限,本身接入服务是可以平行去扩展的。迁移这块,我就数据迁移到对象存储说说一个思路吧,应该尽可能可以用类似缓存+源站的这种结构形式,把当前的数据源作为对象存储的源,业务数据访问时指向对象存储,当对象存储上没有对应数据时,可以从源站去获取。这种方式应该比较平滑一些。 但迁移的持续时间可能会比较长,故同时也可以用主动同步的方式,把数据也主动推送到对象存储上。 对于这点,我们的UFILE也正在研发相应的特性,以方便用户的数据迁移。:)
Q15:针对虚拟化一些特殊的应用比如虚拟磁盘迁移,虚拟磁盘备份,有做存储加速么?或者普通的业务层面的数据备份,有做存储加速么?
蒙:我们是有在虚拟化这块研发了自己的一个加速模块,用于提高磁盘的随机读写能力。