切片上传以及断点续传

一、上传之前先对文件进行转换校验文件格式

blobToString(blob) {
    return new Promise(resolve => {
             const reader = new FileReader()
             reader.onload = function() {
            const ret = reader.result.split('')
                       .map(v => v.charCodeAt()) // 先转化成2进制
                       .map(v=>v.toString(16).toUpperCase()) // 在转化成16进制
                       .join('')
                       resolve(ret)
                }
                reader.readAsBinaryString(blob)
            })
}

将文件的进行截取对应的位数,传进去进行判断即可,下面演示gif的判断逻辑

async isGif(file) {
      const ret = this.blobToString(file.slice(0, 6))
      const isGif = (ret == '47 49 46 38 39 61') || (ret == '47 49 46 38 37 61')
      return isGif
},

这样做可以强校验文件格式,提高上传文件的安全性。
二、文件上传之前将文件进行切片

//CHUNK_SIZE 默认为0.5m   0.5 * 1024 * 1024
createFileChunk(file, size=CHUNK_SIZE) {
            const chunks = []
            let cur = 0
            while (cur < this.file.size) {
                chunks.push({index: cur, file: this.file.slice(cur, cur+size)})
                cur+=size
            }
            return chunks
        },

三、采用布隆过滤器,对文件进行抽样哈希

async calculateHashSample() {
            return new Promise(resolve => {
                // 布容过滤器,前面,中间,后面
                // 布隆过滤器,牺牲精度,换取速度
                const spark = new sparkMD5.ArrayBuffer();
                const reader = new FileReader();

                const file = this.file;
                const size = this.size;
                const offset = 0.5 * 1024 * 1024;
                let chunks = [file.slice(0, offset)];

                let cur = offset;

                while (cur < size) {
                    if(cur+offset >= size) {
                        // 随后一个区域块
                        chunks.push(file.slice(cur, cur+offset))
                    } else {
                        // 中间的区块,取前后两个字节
                        const mid = cur+offset/2
                        const end = cur+offset;
                        chunks.push(file.slice(cur, cur+2));
                        chunks.push(file.slice(mid, mid+2));
                        chunks.push(file.slice(end-2,end));
                    }
                    cur += offset;
                }
                reader.readAsArrayBuffer(new Blob(chunks))
                reader.onload = e => {
                    spark.append(e.target.result);
                    this.hashProgress = 100;
                    resolve(spark.end())
                }
            })
        },

四、将hash文件的后缀名发送给后端,后端进行判断文件是否已经存在,如果不存在则会返回uploadlist便于断点续传

const {data:{uploaded, uploadedList}} = await this.$http.post('/checkfile', {
                hash: this.hash,
                ext: this.file.name.split('.').pop()
            })
            // console.log('hash:', hash)
            // console.log('hash1:', hash1)
            // console.log('hash2:', hash2)
            if(uploaded) {
                return this.$message.success('秒传成功')
            }
            this.chunks = chunks.map((chunk, index) => {
                // 切片的名字 hash+index
                const name = hash + '-' + index;
                return {
                    hash,
                    name,
                    index,
                    chunk: chunk.file
                }
            })
            await this.uploadChunks(uploadedList)

五、uploadChunks会将后端返回的uploadlist进行过滤后进行上传。控制每次最多进行两个片段进行上传

async uploadChunks(uploadedList = []) {
            const requests = this.chunks
            .filter(chunks => uploadedList.indexOf(chunks.name) === -1) // 断点续传
            .map((chunk, index) => {
                // 转成promise
                const form = new FormData();
                form.append('chunk', chunk.chunk);
                form.append('hash', chunk.hash);
                form.append('name', chunk.name);
                return {form, index:chunk.index}
            })
            await this.sendRequest(requests)
            await this.mergeRequest()
        },
async sendRequest(chunks, limit = 2) {
            //limit并发数量
            return new Promise((resolve, reject) => {
                const len = chunks.length;
                let count = 0;
                const start = async () => {
                    // 某个任务失败三次 直接结束上传
          if(stop)return
                    const task = chunks.shift();
                    if(task) {
                        const {form, index} = task;
            try {
                            await this.$http.post('/uploadFile', form, {
                                onUploadProgress: progress => {
                                    this.chunks[index].progress = Number(((progress.loaded/progress.total) * 100).toFixed(2))
                                }
                            })
                            if(count == len - 1) {
                                // 最后一个任务
                                resolve()
                            } else {
                                count++;
                                start()
                            }
                        } catch(e) {
                            // 失败重试
              this.chunks[i].progress=-1 // 步骤条为红色
              if(task.error<3){
                task.error++
                req.unshift(task)
                start()
              }else{
                // 失败三次
                stop=true
                reject()
              }
                        }
                    }
                }
                while (limit > 0) {
                    // 启动limit个任务
                    start()
                    limit -= 1
                }
            })
        },

六、文件上传完成之后进行文件的合并。

mergeRequest() {
            this.$http.post('mergefile', {
                ext: this.file.name.split('.').pop(),
                size: CHUNK_SIZE,
                hash: this.hash,
            })
        },
``
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容