1.项目背景
项目后端框架是springboot，后端与后端之间需要进行文件传输，这个文件大小从几兆到10G不等，当文件太大时，传输可能存在失败超时等各种问题。所以涉及这种大文件传输时，直接传输是不可行的，需要有其他方式进行传输，传输的方式主要有两种：
1.http协议
传输的文件大小有限制，当文件越大时，传输较慢，而且会占用应用需要的内存，所以这种方式传输需要对文件进行拆分，将大文件拆分成小文件后再按小文件传输。
文件分片传输
2.ftp/minio等三方传输
在接收端搭建ftp/minio等三方的文件存储服务器，然后通过接口向服务器传输数据，这种传输方式对文件大小限制较小，不需要拆分，而且文件越大，与http协议相比传输的效率是越快的。
不分片传输
2.解决方案
1.文件拆分传输
文件拆分代码：
public static void splitFile(String filePath, String outputPath){
File file=new File(filePath);
RandomAccessFile in=null;
RandomAccessFile out =null;
long length=file.length();//文件大小
log.info("需要上传的zip文件大小为:{}kb",length/1024);
long splitSize=50*1024*1024;//单片文件大小,50M
long count=length%splitSize==0?(length/splitSize):(length/splitSize+1);//文件分片数
byte[] bt=new byte[1024];
try {
in=new RandomAccessFile(file, "r");
for (int i = 1; i <= count; i++) {
out = new RandomAccessFile(new File(outputPath+"/"+file.getName()+"."+i+".part"), "rw");//定义一个可读可写且后缀名为.part的二进制分片文件
long begin = (i-1)*splitSize;
long end = i* splitSize;
int len=0;
in.seek(begin);
while (in.getFilePointer()<end&&-1!=(len=in.read(bt))) {
out.write(bt, 0, len);
}
out.close();
}
log.info("文件分片成功，filePath={}",filePath);
} catch (Exception e) {
log.error("文件分片失败,error:", e);
}finally {
try {
if(out!=null){
out.close();
}
if(in!=null){
in.close();
}
} catch (IOException e) {
}
}
}
文件合并代码：
public static void mergeFile(String splitDir,String newFilePath){
File dir=new File(splitDir);//目录对象
File[] fileArr=dir.listFiles(new FilenameFilter() {//分片文件
@Override
public boolean accept(File dir, String name) {
return name.endsWith(".part");
}
});
List<File> fileList = Arrays.asList(fileArr);
Collections.sort(fileList, new Comparator<File>() {//根据文件名称对fileList顺序排序
@Override
public int compare(File o1, File o2) {
int lastIndex11=o1.getName().lastIndexOf(".");
int lastIndex12=o1.getName().substring(0,lastIndex11).lastIndexOf(".")+1;
int lastIndex21=o2.getName().lastIndexOf(".");
int lastIndex22=o2.getName().substring(0,lastIndex21).lastIndexOf(".")+1;
int num1=Integer.parseInt(o1.getName().substring(lastIndex12,lastIndex11));
int num2=Integer.parseInt(o2.getName().substring(lastIndex22,lastIndex21));
return num1-num2;
}
});
RandomAccessFile in=null;
RandomAccessFile out =null;
try {
out=new RandomAccessFile(newFilePath, "rw");
for(File file:fileList){//按顺序合成文件
in=new RandomAccessFile(file, "r");
int len=0;
byte[] bt=new byte[1024];
while (-1!=(len=in.read(bt))) {
out.write(bt, 0, len);
}
in.close();
}
log.info("文件合成成功,splitDir={},newFilePath={}", splitDir, newFilePath);
} catch (Exception e) {
log.error("文件合成失败,splitDir={},newFilePath={}", splitDir, newFilePath);
}finally {
try {
if(in!=null){
in.close();
}
if(out!=null){
out.close();
}
} catch (IOException e) {
}
}
}
2.minio/http传输
参考minio/ftp部署文档先搭建minio或者ftp服务器，使用它们提供的api即可。
3.并发问题
上面提高的文件拆分传输方案是串行传输，当传输到最后一个文件时，需要有个字段标识是最后一个，然后这次接受完数据就可以将分片的文件进行合并。但是，当传输不是串行而是并行时，文件接受的顺序不一定是发送文件的先后顺序，所以没办法根据发送顺序来决定是否合并，可以使用java的CountDownLatch来辅助，需要接受的文件个数可以通过发送端传送过来，当传送一个后CountDownLatch计数建1，当为0时执行合并。
