【项目实践】手把手教你自建高性能对象存储服务器

对象存储.png

以项目驱动学习,以实践检验真知

对象存储的应用范围非常广泛,小至图床、文件服务,大至大数据应用。无论是个人还是企业,搭建一个对象存储服务器都是非常有必要的。

国内许多云厂商提供了对象存储服务:阿里 OSS、腾讯 COS、华为 OBS,等等,它们都能对海量数据进行存储与管理,搭建和使用起来也非常方便,然而就是价格并不便宜。为了节约成本,许多人开始自建对象存储服务器,可自建的话要么性能不好、要么搭建麻烦,难以让人满意。

有没有什么办法可以既免费又便捷还高性能呢?当然是有的,它就是本篇文章要讲解的 MinIO。

MinIO 号称全世界最快的对象存储服务器。官方称,在标准硬件上,读/写速度分别可达到 183 GB / s 和 171 GB / s,其性能不言而喻。

high-performance.png

性能优异外,MinIO 还开源免费,最难得的是,其搭建和使用方式极其方便,可以说是自建对象文件存储服务器的不二之选!

接下来螃蟹会手把手教大家使用 MinIO 自建对象存储服务器,读完本文你能收获:

  • MinIO 的搭建与配置;
  • 文件外链(图床)的实现;
  • 集成 Spring Boot。

本文所有代码都放在了 Github 上,克隆下来即可运行。

安装和部署

MinIO 提供了多种安装方式,Windows、Mac、Linux、Docker 等,这里我们选用最简单方便的 Docker 方式。

若服务器已经安装好 Docker,我们只需一行命令即可安装并启用 MinIO

docker run -d -v /data/minio:/data/minio -p 9000:9000 minio/minio server /data/minio

该命令将主机 /data/minio 目录映射到容器中的 /data/minio 目录中,并启用了 9000 端口。如果想指定别的目录和端口当然也是可以的。

MinIO 还提供了图形管理界面,在浏览器输入 ip:9000 即可查看。

不管是图形界面操作,还是客户端操作,默认账号密码都为 minioadmin。验证通过后即可进入管理界面:

ui.png

如果要修改默认的账号密码,在启动容器时指定参数即可:

# 自定义账号密码,账号不能小于 3 字符,密码不能小于 8 字符
docker run -d -p 9000:9000 \
  -v /data/minio:/data/minio \
  -e "MINIO_ROOT_USER=root" \
  -e "MINIO_ROOT_PASSWORD=rudecrab" \
  minio/minio server /data/minio

图形界面

编写代码调用 API 前,我们先看下图形界面的操作。

界面右下角有两个操作按钮,一个是用来创建存储空间 Bucket,一个是用来上传文件。

对象存储服务器的数据都存储在一个个的 Bucket 中,所以上传文件前,我们得先创建一个 Bucket。点击最下面的黄色按钮即可创建:

create-bucket.png

Bucket 名称随意,这里我们创建一个名为 file 的 Bucket。创建完毕后就可以在左侧的导航栏中看到已创建的 Bucket :

file-bucket.png

然后我们可以点击左下角第一个黄色按钮进行文件上传:

upload-file.png

选中文件上传后,即可在文件列表查看:

file-list.png

点击文件操作按钮,可以直接预览、下载,还可以生成分享链接,供他人访问。非常方便地就完成了图床功能

file-op.png

点击分享按钮后,即可生成分享链接。

分享链接可以设置预览时限,最多可公开 7 天:

file-link.jpg

点击 Copy Link 复制链接后,可以在浏览器查看效果:

rudecrab.png

这种属于临时链接,过一段时间后便会失效。有没有什么办法可以生成永久链接呢?当然是有的。

每个 Bucket 都可以设置其访问权限:只读、只写、读写。权限设置后即使不登录,也可以进行相应的操作。我们只需将 Bucket 设置为只读权限,那该 Bucket 下所有文件便可以直接访问,并且没有时长限制!

点击 Bucket 即可进行配置:

edit-policy.png

在弹出的对话框中,选择 Read Only只读权限,然后点击 Add 按钮,即可完成配置。注意哦,第一个对话框中的访问前缀需要配置成星号 *,否则会无法访问:

edit-policy.jpg

配置完成后,在浏览器直接输入文件路径,即可访问:

forever.png

集成 Spring Boot

图形管理界面固然方便,不过有时候我们并不想让用户直接操作管理界面。比如我只想在项目中集成一个文件系统,只提供上传、下载接口,这时我们便需要进行代码编写。

MinIO 几乎提供了所有主流开发语言的 SDK ,Java 自然也不例外。

要使用 MinIO 的 SDK,得导入其依赖包。为了方便操作 I/O流,我们同时导入一个工具包:

<!-- MinIO SDK-->
<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>8.0.3</version>
</dependency>
<!-- I/O工具包,方便I/O操作-->
<dependency>
    <groupId>commons-io</groupId>
    <artifactId>commons-io</artifactId>
    <version>2.7</version>
</dependency>

关于 MinIO 的一切操作都得通过 MinioClient 对象来进行,创建该对象的方式如下:

MinioClient minioClient = MinioClient.builder()
                .endpoint("服务地址")
                .credentials("账号", "密码")
                .build();

然后通过该对象,指定 Bucket 即可进行相应的操作。比如判断 Bucket 是否已存在:

boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket("Bucekt名称").build());

在实际开发中,系统一旦运行,服务地址、账号、密码这些数据一般不会发生变化,甚至 Bucekt 也不会变更。既然如此,我们完全可以在应用启动时将 MinioClient 对象配置好,整个系统共享一个对象即可,并且可以将常用方法封装起来,以便调用。

首先,我们将服务地址这些数据放到 application.yml 配置文件中定义,避免硬编码:

minio:
  url: http://rudecrab.com:9000 # 服务地址
  access: minioadmin # 账号
  secret: minioadmin # 密码
  bucket: file # Bucket

然后创建一个 MinioService 类,进行代码封装。以下代码复制粘贴即可放在自己项目中使用:

@Service
public class MinioService {
    Logger log = LoggerFactory.getLogger(MinioService.class);

    private final String bucket;
    private final MinioClient minioClient;

    public MinioService(@Value("${minio.url}") String url,
                        @Value("${minio.access}") String access,
                        @Value("${minio.secret}") String secret,
                        @Value("${minio.bucket}") String bucket) throws Exception {
        this.bucket = bucket;
        minioClient = MinioClient.builder()
                .endpoint(url)
                .credentials(access, secret)
                .build();
        // 初始化Bucket
        initBucket();
    }

    private void initBucket() throws Exception {
        // 应用启动时检测Bucket是否存在
        boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucket).build());
        // 如果Bucket不存在,则创建Bucket
        if (!found) {
            minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucket).build());
            log.info("成功创建 Bucket [{}]", bucket);
        }
    }

    /**
     * 上传文件
     * @param is 输入流
     * @param object 对象(文件)名
     * @param contentType 文件类型
     */
    public void putObject(InputStream is, String object, String contentType) throws Exception {
        long start = System.currentTimeMillis();
        minioClient.putObject(PutObjectArgs.builder()
                .bucket(bucket)
                .object(object)
                .contentType(contentType)
                .stream(is, -1, 1024 * 1024 * 10) // 不得小于 5 Mib
                .build());
        log.info("成功上传文件至云端 [{}],耗时 [{} ms]", object, System.currentTimeMillis() - start);
    }

    /**
     * 获取文件流
     * @param object 对象(文件)名
     * @return 文件流
     */
    public GetObjectResponse getObject(String object) throws Exception {
        long start = System.currentTimeMillis();
        GetObjectResponse response = minioClient.getObject(GetObjectArgs.builder()
                .bucket(bucket)
                .object(object)
                .build());
        log.info("成功获取 Object [{}],耗时 [{} ms]", object, System.currentTimeMillis() - start);
        return response;
    }

    /**
     * 删除对象(文件)
     * @param object 对象(文件名)
     */
    public void removeObject(String object) throws Exception {
        minioClient.removeObject(RemoveObjectArgs.builder()
                .bucket(bucket)
                .object(object)
                .build());
        log.info("成功删除 Object [{}]", object);
    }
}

业务方法封装好后,接口的编写就很方便了。

上传、下载、删除接口的写法如下:

@RestController
@RequestMapping("/file")
public class FileController {
    @Autowired
    private MinioService minioService;

    // 上传,上传成功会返回文件名
    @PostMapping
    public String upload(MultipartFile file) throws Exception {
        // 获取文件后缀名
        String extension = FilenameUtils.getExtension(file.getOriginalFilename());
        // 为了避免文件名重复,使用UUID重命名文件,将横杠去掉
        String fileName = UUID.randomUUID().toString().replace("-", "") + "." + extension;
        // 上传
        minioService.putObject(file.getInputStream(), fileName, file.getContentType());
        // 返回文件名
        return fileName;
    }
    
    // 根据文件名下载文件
    @GetMapping("{fileName}")
    public void download(HttpServletRequest request, HttpServletResponse response, @PathVariable("fileName") String fileName) throws Exception  {
        // 设置响应类型
        response.setCharacterEncoding(request.getCharacterEncoding());
        response.setContentType("application/octet-stream");
        response.setHeader("Content-Disposition", "attachment; filename=" + fileName);
        // 获取文件流
        GetObjectResponse objectResponse = minioService.getObject(fileName);
        // 将文件流输出到响应流
        IOUtils.copy(objectResponse, response.getOutputStream());
        // 结束
        response.flushBuffer();
        objectResponse.close();
    }
    
    // 根据文件名删除文件
    @DeleteMapping("{fileName}")
    public String remove(@PathVariable("fileName") String fileName) throws Exception  {
        minioService.removeObject(fileName);
        return "success";
    }
}

编写完接口,我们启动项目,然后在 PostMan 测试一下:

post-file.png

文件成功上传,并返回了文件名。在 MinIO 中也可以看到文件已经上传成功:

file-list.png

我们复制文件名,再测试下载接口:

get-file.png

请求发送后,弹出下载框,证明下载接口没有问题!

Java SDK 的介绍就到这了,其实 MinIO 还支持 JavaScript SDK,前端也可以直接调用,有兴趣的可以在 MinIO 官网 https://min.io/ 进行了解。

开发中是前端直接调用 MinIO,还是通过后端调用,这个根据业务来定,都可以的。

收尾

上面的内容已经满足绝大多数需求了,MinIO 还支持分布式部署,如果大家感兴趣,螃蟹后续再出相关实践。

所有代码都已放在了 Github 上,克隆下来即可运行。仓库中还有许多其他【项目实践】哦,欢迎 star~

本文到这里就结束了,我是「RudeCrab」,一只粗鲁的螃蟹,我们下篇文章再见。

关注「RudeCrab」微信公众号,和螃蟹一起横行霸道。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,968评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,601评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,220评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,416评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,425评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,144评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,432评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,088评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,586评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,028评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,137评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,783评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,343评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,333评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,559评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,595评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,901评论 2 345

推荐阅读更多精彩内容