FastDFS介绍:
FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。
FastDFS中的文件标识分为两个部分:卷名和文件名,二者缺一不可。
FastDFS主要内容:
tracker:追踪者服务器,主要用于协调调度,可以起到负载均衡的作用,记录storage的相关状态信息。
storage:存储服务器,用于保存文件以及文件的元数据信息。
group:组,同组节点提供冗余备份,不同组用于扩容。
mata data:文件的元数据信息,比如长宽信息,图片后缀,视频的帧数等。
FastDFS安装:
第一步:基础环境准备
yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget git
第二步:主体安装,主要安装以下内容
libfatscommon:FastDFS分离出的一些公用函数包
FastDFS:FastDFS本体
fastdfs-nginx-module:FastDFS和nginx的关联模块
nginx:发布访问服务
安装libfatscommon:
unzip libfastcommon-master.zip
cd libfastcommon-master/
./make.sh
./make.sh install
安装FastDFS:
unzip fastdfs-master.zip
cd fastdfs-master/
./make.sh
./make.sh install
安装fastdfs-nginx-module:
unzip fastdfs-nginx-module-master.zip
cp fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs
安装nginx,设置安装目录,添加FastDFS和nginx关联模块,并且添加ssl模块方便后期配置HTTPS域名访问:
tar -zxvf nginx-1.22.0.tar.gz
cd nginx-1.22.0/
./configure --prefix=/usr/local/nginx --add-module=/data/fastdfs-nginx-module-master/src --with-http_ssl_module
make
make install
到此,所有的安装已经结束,但是配置文件还没配置,所以所有的服务都不能启动,不然就会报错。
FastDFS配置:
配置:1个Tracker+3个Storage,分别用来存放图片、视频、其他文件。
数据文件存放目录:/data/fileServer/,在该文件夹下创建以下目录:
cd /data/fileServer/
mkdir client storage tracker
cd storage
mkdir image video file
配置文件放置目录:/etc/fdfs/
配置tracker.conf,主要配置如下,其他配置使用默认配置即可:
# tracker server 服务端口
port=22122
# 存放数据和日志的基础路径
base_path=/data/fileServer/tracker
# 文件上传选择组的策略
# 0: 轮询
# 1: 指定组
# 2: 均衡,选择空间空闲最大的组
store_lookup=2
# 当store_lookup为1时,必须指定组的名字,该组名字必须时真实存在的
# 如果store_lookup如果是0或2,则此参数无效
store_group=image
# tracker server的HTTP端口
http.server_port=8080
配置storage_image.conf、storage_video.conf和stroage_file.conf,主要配置如下,其他配置使用默认配置即可:
# 组名称
group_name=image
# 组服务端口
port=23000
# 该组存放数据和日志的路径
base_path=/data/fileServer/storage/image
store_path0=/data/fileServer/storage/image
# 结合nginx的一个对外服务端口号,与nginx监听端口保持一致
http.server_port=8888
# 组名称
group_name=video
# 组服务端口
port=23001
# 该组存放数据和日志的路径
base_path=/data/fileServer/storage/video
store_path0=/data/fileServer/storage/video
# 结合nginx的一个对外服务端口号,与nginx监听端口保持一致
http.server_port=8888
# 组名称
group_name=file
# 组服务端口
port=23002
# 该组存放数据和日志的路径
base_path=/data/fileServer/storage/file
store_path0=/data/fileServer/storage/file
# 结合nginx的一个对外服务端口号,与nginx监听端口保持一致
http.server_port=8888
配置client.conf,主要配置如下,其他配置使用默认配置即可:
# 存储日志文件的路径
base_path=/data/fileServer/client
# 这里建议使用公网IP,方便从互联网上传文件
tracker_server=49.232.105.121:22122
# tracker服务器的 http端口号,必须等于tracker.conf中的http.server_port值
http.tracker_server_port=8080
到这里,FastDFS文件服务系统已经配置成功了,此时可以启动服务,在服务器上面操作上传文件了。
启动服务:
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
/usr/bin/fdfs_storaged /etc/fdfs/storage_image.conf
/usr/bin/fdfs_storaged /etc/fdfs/storage_video.conf
/usr/bin/fdfs_storaged /etc/fdfs/storage_file.conf
上传文件,根据配置文件的配置,上传组策略采用均衡(load balance)方式:
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /data/des.png
文件上传成功返回信息如下:
file/M00/00/00/rBUAD2NkfdmAFH4aAAygMuNF7cs093.png
图片可以上传了,但是如果通过浏览器查看,这个时候就需要配置插件mod_fastdfs和nginx。
配置mod_fastdfs.conf,主要配置如下,其他配置使用默认配置即可:
# tracker server的ip和端口
tracker_server=49.232.105.121:22122
# 是否在访问地址中加入组信息,比如${group_name}/M00/00/00/xxx
url_have_group_name = true
# 分组数量,必须与下方group settings中group组实际数一致,不然浏览器查看时会报404
# 如果下方group settings中没有设置group组,则为使用单一组,设置为0
group_count = 3
# 组设置,主要包括组名字、端口、存储数量、存储地址,与storage配置文件中的信息保持一致
[group1]
group_name=image
storage_server_port=23000
store_path_count=1
store_path0=/data/fileServer/storage/image
[group2]
group_name=video
storage_server_port=23001
store_path_count=1
store_path0=/data/fileServer/storage/video
[group3]
group_name=file
storage_server_port=23002
store_path_count=1
store_path0=/data/fileServer/storage/file
配置nginx,添加以下端口监听:
#文件服务器
server {
listen 8888;
server_name 49.232.105.121;
location ~/image|video|file/ {
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
另有两个配置文件,http.conf和mime.types,使用默认配置即可,无需修改。
启动nginx:
cd /usr/local/nginx/sbin
./nginx
通过浏览器查看刚才上次的图片:
http://49.232.105.121:8888/file/M00/00/00/rBUAD2NkfdmAFH4aAAygMuNF7cs093.png
Java客户端操作FastDFS的使用:
第一步:配置依赖
<dependency>
<groupId>cn.bestwu</groupId>
<artifactId>fastdfs-client-java</artifactId>
<version>1.27</version>
</dependency>
第二步:配置fdfsClient_config.properties
connect_timeout = 2
network_timeout = 30
charset = UTF-8
http.anti_steal_token = no
http.secret_key = FastDFS1234567890
http.tracker_http_port = 8080
tracker_server =49.232.105.121:22122
第三步:测试用例
package cn.tongmap.client;
import java.awt.image.BufferedImage;
import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.util.Arrays;
import javax.imageio.ImageIO;
import org.csource.common.MyException;
import org.csource.common.NameValuePair;
import org.csource.fastdfs.ClientGlobal;
import org.csource.fastdfs.StorageClient;
import org.csource.fastdfs.StorageServer;
import org.csource.fastdfs.TrackerClient;
import org.csource.fastdfs.TrackerServer;
public class FastDFSClient {
private static final String CONF_FILENAME = new FastDFSClient().getClass().getClassLoader().getResource("fdfsClient_config.properties").getPath();
static {
try {
// 加载配置文件
ClientGlobal.init(CONF_FILENAME);
} catch (IOException e) {
e.printStackTrace();
} catch (MyException e) {
e.printStackTrace();
}
}
/**
* 上传图片到指定的group
* @param uploadFilePath
* @param width
* @param height
* @param groupName
* @return
* @throws Exception
*/
public static String[] uploadFileSpecifyGroup(String uploadFilePath, int width, int height, String groupName) throws Exception {
String[] results = null;
String fileExtName = "";
if (uploadFilePath.contains(".")) {
fileExtName = uploadFilePath.substring(uploadFilePath.lastIndexOf(".") + 1);
} else {
return results;
}
//建立连接
TrackerClient trackerClient = new TrackerClient();
TrackerServer trackerServer = trackerClient.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer, storageServer);
FileInputStream fileInputStream = new FileInputStream(new File(uploadFilePath));
byte[] file_buff = null;
if(fileInputStream != null){
int len = fileInputStream.available();
file_buff = new byte[len];
fileInputStream.read(file_buff);
}
//设置元信息
NameValuePair[] metas = new NameValuePair[3];
metas[0] = new NameValuePair("width", "" + width);
metas[1] = new NameValuePair("heigth", "" + height);
metas[2] = new NameValuePair("author", "bss");
results = storageClient.upload_file(groupName, file_buff, fileExtName, metas);
System.out.println(Arrays.toString(results));
trackerServer.close();
fileInputStream.close();
return results;
}
/**
* 上传图片,load balance
* @param uploadFilePath
* @param width
* @param height
* @return
* @throws Exception
*/
public static String[] uploadFileBalance(String uploadFilePath, int width, int height) throws Exception {
String[] results = null;
String fileExtName = "";
if (uploadFilePath.contains(".")) {
fileExtName = uploadFilePath.substring(uploadFilePath.lastIndexOf(".") + 1);
} else {
return results;
}
//建立连接
TrackerClient trackerClient = new TrackerClient();
TrackerServer trackerServer = trackerClient.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer, storageServer);
FileInputStream fileInputStream = new FileInputStream(new File(uploadFilePath));
byte[] file_buff = null;
if(fileInputStream != null){
int len = fileInputStream.available();
file_buff = new byte[len];
fileInputStream.read(file_buff);
}
//设置元信息
NameValuePair[] metas = new NameValuePair[3];
metas[0] = new NameValuePair("width", "" + width);
metas[1] = new NameValuePair("heigth", "" + height);
metas[2] = new NameValuePair("author", "bss");
results = storageClient.upload_file(uploadFilePath, fileExtName, metas);
System.out.println(Arrays.toString(results));
trackerServer.close();
fileInputStream.close();
return results;
}
public static void main(String[] args) throws Exception{
String image = "D://Perfect Match.jpg";
BufferedInputStream bufInputStream = new BufferedInputStream(new FileInputStream(new File(image)));
BufferedImage bi = ImageIO.read(bufInputStream);
int width = bi.getWidth();
int height = bi.getHeight();
uploadFileSpecifyGroup(image, width, height, "image");
uploadFileBalance(image, width, height);
}
}
#FastDFS安装包,各个配置文件的配置,以及Java客户端操作FastDFS的使用。
https://download.csdn.net/download/kzhzhang/86901476