20221105_fastdfs分布式文件系统环境搭建学习笔记.md
1概述
FastDFS是一个由C语言实现的开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储，文件同步，文件访问（文件上传，下载）等；解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务。如相册网站，视频网站等等。
FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
同类的分布式文件还有谷歌的GFS，HDFS（Hadoop），TFS（淘宝）。
fastdfs默认的端口有三个8888,23000,22122，分别解释一下:
8888是默认的nginx代理端口，22122是tracker服务端口，23000是storage服务端口。
目前最新版本:fastdfs:v6.09(作者新作:FastCFS:v3.6.3),本文基于阿里云服务器(Ubuntu 5.4.0-6ubuntu1~16.04.12)进行安装:
libfastcommon-1.0.7.tar.gz:FastDFS分离出的一些公用函数包,
fastdfs-5.05.tar.gz:FastDFS本体,
fastdfs-nginx-module-1.20.tar.gz:FastDFS和nginx的关联模块。
1.1FastDFS
FastDFS有两个角色：Tracker（跟踪器），Storage（存储节点）
1.1.1Tracker（跟踪器）
Tracker：主要做调度作用，起到负载均衡的作用；负责管理所有的Storage和Group，每一个Storage再启动后会连接Tracker，告知自己所属的Group，并保持周期心跳
1.1.2Storage（存储节点）
Storage：存储节点，主要提供容量和备份服务；以Group为单位，每个Group内可以有多台Storage，数据互相备份。
1.1.3配置云服务器端口
[图片上传失败...(image-f8c54f-1667704718354)]
1.2具体安装步骤
注：一定要先启动Tracker，在启动Storage
注：如果Tracker和Storage是配置在不同的服务器上，那么基础环境要在两个服务器上都安装。
1.2.1安装libfastcommon
# 1.创建根目录
mkdir /study/data/fastdfs
# 2.下载
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
# 3.解压缩
tar -xvf V1.0.7.tar.gz`
cd libfastcommon-1.0.7
# 4.编译安装
./make.sh
./make.sh install
# 5.设置软连接
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
1.2.2安装FastDFS(5.11)
# 1.下载
wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
# 2.解压缩
tar -xvf V5.05.tar.gz
cd fastdfs-5.05/
# 3.编译、安装(生成/etc/fdfs目录)
./make.sh
./make.sh install
[图片上传失败...(image-6c00a7-1667704718355)]
1.2.3配置tracker(端口:22122和80)
# 配置Tracker服务
cd /etc/fdfs
cp tracker.conf.sample tracker.conf
vi tracker.conf
1.2.3.1编辑tracker.conf
# 配置文件是否不生效，false 为生效
disabled=false
# 提供服务的端口
port=22122
# Tracker 数据和日志目录地址
base_path=/study/data/fastdfs/tracker
# HTTP 服务端口(8080-->80)
http.server_port=80
1.2.3.2使用ln -s 建立软链接
ln -s /usr/bin/fdfs_trackerd /usr/local/bin
ln -s /usr/bin/stop.sh /usr/local/bin
ln -s /usr/bin/restart.sh /usr/local/bin
1.2.3.3启动服务
service fdfs_trackerd start
service fdfs_trackerd stop
service fdfs_trackerd restart
// https://blog.csdn.net/qq_43055565/article/details/103167171
root@yhm:/usr/local/bin# service fdfs_trackerd start
Failed to start fdfs_trackerd.service: Unit fdfs_trackerd.service not found.
1.2.3.4查看监听
# 查看监听
netstat -unltp|grep fdfs
如果提示Failed to start fdfs_trackerd.service: Unit fdfs_trackerd.service not found.错误、
则可以通过
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
和
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
命令启动tracker和storage服务、启动完成之后通过ps aux | grep fdfs命令查看tracker和storage进程。
1.2.4配置storage(端口:23000和8888)
1.2.4.1创建配置文件
[图片上传失败...(image-5eeae3-1667704718355)]
进入/etc/fdfs目录，复制FastDFS存储器样例配置文件storage.conf.sample，并重命名为storage.conf
# cd /etc/fdfs
# cp storage.conf.sample storage.conf
# vi storage.conf
1.2.4.2编辑Storage
# 配置文件是否不生效，false 为生效
disabled=false
# 指定此 storage server 所在 组(卷),这里为:group1
group_name=group1
# storage server 服务端口
port=23000
# 心跳间隔时间，单位为秒 (这里是指主动向 tracker server 发送心跳)
heart_beat_interval=30
# Storage 数据和日志目录地址(根目录必须存在，子目录会自动生成)
base_path=/study/data/fastdfs/storage
# 存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目，通常只配一个目录。
store_path_count=1
# 逐一配置 store_path_count 个路径，索引号基于 0。
# 如果不配置 store_path0，那它就和 base_path 对应的路径一样。
store_path0=/study/data/fastdfs/storage
# FastDFS 存储文件时，采用了两级目录。这里配置存放文件的目录个数。
# 如果本参数只为 N（如： 256），那么 storage server 在初次运行时，会在 store_path 下自动创建 N * N 个存放文件的子目录。
subdir_count_per_path=256
# tracker_server 的列表 ，会主动连接 tracker_server
# 有多个 tracker server 时，每个 tracker server 写一行 公网访问需要配置公网IP
tracker_server=139.196.243.11:22122
# 允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。
sync_start_time=00:00
sync_end_time=23:59
# the port of the web server on this storage server
http.server_port=80
1.2.4.3使用ln -s 建立软链接
ln -s /usr/bin/fdfs_storaged /usr/local/bin
1.2.4.4启动服务
service fdfs_storaged start
service fdfs_storaged stop
service fdfs_storaged restart
1.2.4.5查看监听
netstat -unltp|grep fdfs
1.2.5验证
[图片上传失败...(image-16ac16-1667704718355)]
[图片上传失败...(image-b3ed27-1667704718355)]
[图片上传失败...(image-b70276-1667704718355)]
查看Storage和Tracker是否在通信
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
1.2.5.1上传文件
root@yhm:/study/deploy# fdfs_upload_file /etc/fdfs/client.conf myfirstdfs.txt
# 要上传的图片文件路径。如果返回类似
group1/M00/00/00/rBokeGNmN9eAWxemAAAAGMsjemE397.txt
1.2.5.2验证本地文件
root@yhm:/study/data/fastdfs/storage/data/00# find /study/data -name rBokeGNmN9eAWxemAAAAGMsjemE397.txt
/study/data/fastdfs/storage/data/00/00/rBokeGNmN9eAWxemAAAAGMsjemE397.txt
参考
1一篇文章搞懂FastDfs(全是干货，建议收藏）
https://blog.csdn.net/qq_38446413/article/details/106299429
http://doc.ruoyi.vip/ruoyi-cloud/cloud/file.html#%E9%85%8D%E7%BD%AEnginx(OK)
2分布式文件
http://doc.ruoyi.vip/ruoyi-cloud/cloud/file.html
https://gitee.com/y_project/RuoYi-Cloud ruoyi-file
3ubuntu安装fastDFS
4官网
官方网站：https://github.com/happyfish100/
配置文档：https://github.com/happyfish100/fastdfs/wiki/
