minio简介

简介

  • MinIO是在Apache License v2.0下发布的对象存储服务器。它与Amazon S3云存储服务兼容。它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/ VM映像。对象的大小可以从几KB到最大5TB。
  • 服务端,可通过web访问
  • 客户端

对象存储方法

  • bucket管理
  • cp 远程本地相互拷贝,或远程与远程,本地与本地操作
  • mirror 设置远程bucket与本地目录一致

对象获取方法

  • cp
  • share 创建http下载链接,有效期最长7天
  • mirror 可设置watch,保持远程与本地同步更新
  • watch event,间接操作,接收event通知,自定义操作

分布式minio

  • 部署方法
    • 在集群所有服务器上执行相同命令:e.g.

      export MINIO_ACCESS_KEY=<ACCESS_KEY>
      export MINIO_SECRET_KEY=<SECRET_KEY>
      minio server http://192.168.1.1{1...8}/export1

      NOTE: {1...n} shown have 3 dots! Using only 2 dots {1..4} will be interpreted by your shell and won't be passed to minio server, affecting the erasure coding order, which may impact performance and high availability. Always use {1...n} (3 dots!) to allow minio server to optimally erasure-code data

  • 注意事项
    • 运行分布式MinIO的所有节点都需要具有相同的访问密钥和密钥才能连接节点。为此,在执行MinIO服务器命令之前,必须在所有节点上将访问密钥和密钥作为环境变量MINIO_ACCESS_KEY和MINIO_SECRET_KEY导出。
    • 运行分布式MinIO的所有节点都需要处于同构环境中,即相同的操作系统,相同数量的磁盘和相同的互连。
    • 如果需要设置域,则应定义并导出MINIO_DOMAIN环境变量,域名,详见
    • MinIO分布式模式需要新目录。如果需要,可以与其他应用程序共享驱动器。您可以使用minio独有的子目录来完成此操作。例如,如果已在/ export下挂载卷,则将/ export / data作为参数传递给MinIO服务器。
    • 运行分布式MinIO实例的服务器应该相隔不到3秒。您可以使用NTP作为最佳实践,以确保跨服务器的一致时间。
    • 截至目前,在Windows上运行Distributed MinIO是实验性的。请谨慎行事。
  • 冗余措施
    • 擦除码, Reed Solomon。驱动器掉线数据恢复,bit rot保护
    • 分片。默认N/2 data , N/2 parity
  • 一致性: read-after-write 强一致性。go同步库,全部节点加锁

限制

  • 擦除码使用限制(集群)
Item Specification
Maximum number of servers per cluster 32
Maximum number of Federated clusters Unlimited
Minimum number of servers 02
Maximum number of drives per server Unlimited
Read quorum N/2
Write quorum N/2+1
  • 浏览器使用限制
Item Specification
Web browser upload size limit 5 TiB
  • S3 API限制
Item Specification
Maximum number of buckets no-limit
Maximum number of objects per bucket no-limit
Maximum object size 5 TiB
Minimum object size 0 B
Maximum object size per PUT operation 5 TiB
Maximum number of parts per upload 10,000
Part size 5 MiB to 5 GiB. Last part can be 0 B to 5 GiB
Maximum number of parts returned per list parts request 1000
Maximum number of objects returned per list objects request 1000
Maximum number of multipart uploads returned per list multipart uploads request 1000

client admin 工具

  • 命令
command description
service stop, restart or get status of MinIO server
info display MinIO server information
user manage users(权限管理)
policy manage canned policies
config manage configuration file
heal heal disks, buckets and objects on MinIO server
top provide top like statistics for MinIO

读写性能测试 (100MB)

  • 运行环境:本地, i5-7Y54, 三星ssd MZNTY256HDHP-000
  • 上传
item time
read 0m1.549s
user 0m0.594s
sys 0m1.172s
  • 下载
item time
read 0m0.912s
user 0m0.109s
sys 0m0.406s
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,482评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,377评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,762评论 0 342
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,273评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,289评论 5 373
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,046评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,351评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,988评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,476评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,948评论 2 324
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,064评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,712评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,261评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,264评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,486评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,511评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,802评论 2 345

推荐阅读更多精彩内容