文件上传与Koa2

前言

本文仅为koa2上传文件(图片/文本/视频/音频)到七牛云的记叙。

关于我是如何找到该文档的?
在没有具体思路前,我也去看了好多博客,但是大家都没有说为什么要按照这个步骤/方法去上传,照着实现,出了问题也不知该从哪方面来解决,甚是气人。但看到大家都用到的一句代码是tiformUploader.putFile(uploadToken, key, localFile, putExtra, function (),就试着在谷歌“七牛云开发者文档”,然后选择比较官方的一个“七牛云开发者中心”,点开网站后一个大大的搜索框,输入上面的那句主要代码,就调整到对应的Nodejs SDK,正是我们所需要的。
下次找相关的官方文档时,就可以用这个方法。

上传的本质

在说具体代码之前,我想先说说在客户端上传的原理,这样你就能理解下面说的几种上传形式其实在本质上都是一样。
我认为的上传的本质一句话就是“获取到文件对象File,将File以表单格式提交到服务器端”。可以转化为两个疑问来讲解:
1. 如何取到文件对象File?
2. 如何以表单格式提交?

如何取到文件对象File:

文件上传元素是:<input type="file" id="input"> , 经type="file"标识,就可以通过 File API访问 FileList,它包含了表示用户所选文件的 File 对象。
type="file"都是以列表(FileList)形式存在,本文章以单文件上传来讲解,取的是FileList中的一个元素。
访问被选择的文件的两种方式:
第一种:const myFile = document.getElementById('input').files[0]
第二种:document.getElementById('input').addEventListener("change", function() { const myFile = this.files[0] }, false)

myFile 即我们要获取的选择文件的 File 对象。

可参见:
MDN: 在web应用程序中使用文件
MDN: input type="file"

如何以表单格式提交:

文件一般都是用表单格式来提交的,不管我们是上传到七牛云还是上传到自己的服务器上。

web上的ajax、axios 请求都是基于 XMLHttpRequest接口来实现的。而XMLHttpRequest有一个formData接口,支持发送表单数据;FormData 类型的数据,XMLHttpRequest的content-type默认值为multipart/form-data,你也可以手动设置;

我们常用的ajax、axios都是基于XMLHttpRequest封装实现的

可参见:
阮一峰:XMLHttpRequest Level 2 使用指南
MDN:FormData 对象的使用
MDN:FormData

上传方式

文件上传分为 客户端上传服务端上传 两种场景。
文件上传到七牛云,可先查阅七牛的开发者文档

七牛云配置

在上传之前,先配置好七牛,并拿到以下值:
AccessKey
SecretKey :七牛密钥(个人中心 - 密钥管理)
Bucket :空间名称(对象管理 - 空间管理 - 空间名称)
domain :CDN 域名
zone:存储区域(对应自己主机的区域,可查看 七牛存储区域

客户端上传

客户端上传是指文件上传到七牛这个动作在前端进行。

服务器端获取七牛token

文件在上传到七牛云时需要带上一个七牛云的上传凭证,即我们说的token,否则会401错误,这个token由服务器来获取。
在拿到七牛的AccessKeySecretKeyBucket后,就可以在服务器端生成token了,如下实现:

var options = {
  scope: bucket,
};
var putPolicy = new qiniu.rs.PutPolicy(options);
var uploadToken=putPolicy.uploadToken(mac);

目的是要把 uploadToken 返回给前端。
上面代码是最简单的设置,也可以参照 开发者文档 设置其他参数。

整体思路

  1. 上传前。在上传前需要拿到上传地址(zone)、上传凭证(token)、存储cdn域名(domain);
  2. 上传。把文件和token一起上传;
    2.1 获取到文件对象File
    2.2 上传参数有token、file、key(可选),以POST方法上传到机房,上传请求头为“multipart-formdata”
  3. 上传完成。上传成功后七牛返回一个key和hash,domain拼接上key即可显示图片了,key可以理解为图片在七牛上的资源定位唯一标识。
    3.1 上传成功后七牛返回图片可以是“blob格式”或者“路径格式”。
    3.2 第2.2步中,上传参数加上key值上传成功后即返回图片路径格式。key的格式为“文件名+文件后缀”结尾,前面可以拼接存储路径,如“public/images/a.png”、“public/audios/a.mp3” 。

几个注意点:
a. domain、zone 可以自己写在本地,也可以让后端来返回;
b. token有效期只有一次,再次上传时,不管上传的是否为同一张图片都需要重新拿token;

客户端上传文件

客户端拿到后端返回的token,就可以上传文件了。
客户端上传有几种方式,我分为三种:

  • 接口形式上传
  • 组件形式上传
方式一:接口形式上传

html:

<input type="file" id="avatar" accept="image/png, image/jpeg" />
<img :src="imageUrl" alt="" style="width: 200px" />

js:

let input = document.getElementById('avatar')
input.addEventListener('change', async () => {

  // 获取File对象
  const file = input.files[0]
  
  // 请求后端接口获取到七牛的 domain, zone, token;token有效期只有一次,所以每次上传前都先获取token
  const { data: { domain, zone, token } } = await API.getQiniuToken()
  if(!token) {
      console.log('获取七牛token失败')
      return
  }

  let formdata = new FormData()

  formdata.append('token', token)
  formdata.append('file', file)
  formdata.append('key', `public/tmp/${Date.now()}${file.name.split('.').pop()}`) // key参数可选

  axios({
    method: 'POST',
    url: zone,
    data: formdata,
  })
    .then((response) => {
      console.log(response.data)
      this.imageUrl = `http://${domain}/${response.data.key}`
    })
    .catch((error) => {
      console.log(error)
    })
})
方式二:组件形式

这里以 ElementUI 的上传组件为例。
用 ElementUI 或 iviewUI 的同学应该知道,上传组件可以设置actiondata属性:
action:必选参数,上传的地址。即对应七牛的存储区域zone,组件会自动帮我们上传,上传成功后触发on-success事件;
data: 上传时附带的额外参数。上传到七牛的额外参数需要有:token、file、key(可选)。组件会默认加上file,所以我们只需要带上token(或{token、key})就可以了。

实现过程如下:

<template>
  <el-upload 
    :action="zone" 
    :data="{ token, key: imageKey }" 
    :show-file-list="false" 
    :on-success="success" 
    :on-error="fail" 
    :before-upload="beforeUpload">
    <img v-if="imageUrl" :src="imageUrl" style="width: 200px" />
    <button>上传图片:</button>
  </el-upload>
</template>
<script>
import { Upload } from 'element-ui'
import { qiniu as API } from '@/api'
export default {
  name: 'ImageUploader',
  components: {
    'el-upload': Upload
  },
  data () {
    return {
      imageKey: '',
      imageUrl: '',
      domain: '',
      zone: '',
      token: ''
    }
  },
  methods: {
    async beforeUpload (file) {
      // 请求后端接口获取到七牛的 domain, zone, token
      const { data: { domain, zone, token } } = await API.getQiniuToken() 
      this.domain = domain
      this. zone =  zone
      this.token  = token 

      if(!token) {
          console.log('获取七牛token失败')
          return
      }
      
      // 设置上传的key值,可选
      this.imageKey = `public/tmp/${Date.now()}${file.name.split('.').pop()}`
    },
    success (res, file) {
      this.imageUrl = `http://${this.domain}/${res.key}`
    },
    fail (err, file) {
      console.log(err)
    }
  }
}
</script>

下为请求的截图,从图中可以看到,组件也是用 FormData 来进行上传的:

image

接口 const { data: { domain, zone, token } } = await API.getQiniuToken() 在后端是怎么实现的呢?

前面说过,domain, zone是固定的,要动态获取的是token,根据上面的【服务器端获取七牛token】,API.getQiniuToken() 在后端上的具体实现如下:

const qiniu = require('qiniu');
const config = require('../config')
const fs = require('fs')

const { bucket, zone, domain, AK, SK } = config.qiniu

class Qiniu {
  static async getToken (ctx) {
    const mac = new qiniu.auth.digest.Mac(AK, SK);
    const options = {
      scope: bucket,
      expires: 3600
    }
    const putPolicy = new qiniu.rs.PutPolicy(options);
    const token = putPolicy.uploadToken(mac);    

    ctx.status = 200
    ctx.body = {
      code: 0,
      massge: '获取七牛token成功',
      data: { token, zone, domain }
    }
  }
}

其中为防止获取token过程中发生异常,可适当 try chtch。

服务端上传

服务端上传,其官方说法是:

客户利用服务端SDK从服务端直接上传文件到存储,交互的双方一般都在机房里面,所以服务端可以自己生成上传凭证,然后利用SDK中的上传逻辑进行上传,最后从存储服务获取上传的结果,这个过程中由于双方都是业务服务器,所以很少利用到上传回调的功能,而是直接自定义returnBody来获取自定义的回复内容

可参见:七牛云 Node.js SDK - 服务器直传

服务度上传文件到七牛也有几种方法,这里说最简单的一种:上传本地文件,直接指定文件的完整路径即可上传。

先说几个注意点:
koa2获取表单数据是用koa-body实现的。如果 ctx.request.files.file 为 undefined,可以从下面几点排查:

  1. koaBody 需添加 multipart: true 设置;
  2. koa-body版本问题。koa-body v3和v4之前通过ctx.request.body捕获文件。而v3.v4后才是通过ctx.request.files.file进行获取;
  3. koa-bodykoa-bodyparser 冲突。koa2 使用 koa-body 代替 koa-bodyparser 和 koa-multer。koa-bod 与 koa-bodyparser 同时存在时,get请求会发生错误。
  4. 关于中间件顺序问题。路由中间件和koa-body中间件都存在时,koa-body需要在路由之前注入。
    app.use(koaBody({ multipart: true }))
    app.use(router.routes(), router.allowedMethods())
  1. 前端以表单格式formdata提交,用POST方法并设置编码类型"Content-Type": "multipart/form-data" 。下为axios示例:
const file = document.getElementById('image_upload').files[0]

let formdata = new FormData()
formdata.append('file', file)

let config = {
 headers: { 'Content-Type': 'multipart/form-data' },
}

axios({
 method: 'POST',
 url: '/upload',
 data: formdata,
 config
})
 .then((response) => console.log(response.data))
 .catch((error) => console.log(error))
  1. 文件上传到本地时,以流的形式来读取,数据可用之前,读取操作不会结束。这可以防止进程的退出与流的自动关闭。监听读取的end事件,读取结束后再进行下一步操作。

下为具体实现:

const qiniu = require('qiniu')
const path = require('path')
const fs = require('fs')
const config = require('../config')
const { bucket, zone, domain, AK, SK } = config.qiniu

static async uploaderAvatar (ctx) {

    // 获取上传文件
    const file = ctx.request.files.file

    // 写入目录
    const mkdirsSync = (dirname) => {
      if (fs.existsSync(dirname)) {
        return true
      } else {
        if (mkdirsSync(path.dirname(dirname))) {
          fs.mkdirSync(dirname)
          return true
        }
      }
      return false
    }

    // 重命名
    function rename (fileName) {
      return Math.random().toString(16).substr(2) + '.' + fileName.split('.').pop()
    }

    // 删除文件
    function removeTemImage (path) {
      fs.unlink(path, (err) => {
        if (err) {
          throw err
        }
      })
    }

    // 上传到本地
    /**
     * @description 上传到本地
     * @param {*} file
     * @returns {Promise} fileName fileFullPath 
     * @file http://nodejs.cn/api/fs.html#fs_fs_createreadstream_path_options
     */
    function upToLocal (file) {
      return new Promise((resolve, reject) => {
        // 本地文件存储路径
        let filePath = path.join(__dirname, 'public/upload/');

        // 创建本地上传文件路径
        const confirm = mkdirsSync(filePath)
        if (!confirm) {
          console.log("------- 创建本地上传文件路径失败 ----------")
          return
        }

        // 创建可读流
        const stream = fs.createReadStream(file.path)

        // 文件名
        const fileName = rename(file.name)

        // 本地文件路径
        const fileFullPath = path.join(path.join(filePath, fileName))

        // 创建可写流
        const upStream = fs.createWriteStream(fileFullPath)

        // 可读流通过管道写入可写流
        stream.pipe(upStream);

        stream.on('end', () => {
          console.log('file read finished');

          // 关闭流
          stream.push(null);
          stream.read(0);

          resolve({ fileName, fileFullPath })
        })

        stream.on('error', (err) => {
          reject('------------ createReadStream error -----------', err)
        })

      })
    }

    // 上传到七牛
    /**
      * @description 上传到七牛
      * @param {String} key
      * @param {String} filePath 
      * @returns {Promise} {hash, key} 
      * @file https://developer.qiniu.com/kodo/sdk/1289/nodejs
      */
    function upToQiniu ({ fileName, fileFullPath }) {

      // 参数1:获取token凭证
      const mac = new qiniu.auth.digest.Mac(AK, SK)
      const options = {
        scope: bucket
      }
      const putPolicy = new qiniu.rs.PutPolicy(options)
      const uploadToken = putPolicy.uploadToken(mac)


      // 参数2:需要上传到七牛云的文件路径
      const key = `public/tem/${fileName}`

      // 参数3:上传在本地的临时文件的路径
      const localFile = fileFullPath.replace(/\\/g, '\/')

      // 参数4:固定参数,额为参数
      const putExtra = new qiniu.form_up.PutExtra();

      // new 一个七牛云的上传对象
      let config = new qiniu.conf.Config();
      // Zone_z2为空间对应的机房
      config.zone = qiniu.zone.Zone_z2
      const formUploader = new qiniu.form_up.FormUploader(config);

      // 文件上传到七牛云(单文件)
      return new Promise((resolved, reject) => {
        /**
         * uploadToken 七牛云上传凭证
         * key 七牛云文件存储路径
         * localFile 本地文件路径
         * putExtra 额为参数
         */
        formUploader.putFile(uploadToken, key, localFile, putExtra, function (respErr, respBody, respInfo) {
          if (respErr) {
            reject(respErr)
          }
          if (respInfo.statusCode == 200) {
            resolved(respBody)
          } else {
            resolved(respBody)
          }
        })
      })

    }

    // 上传文件到本地获,获取本地的 文件名 和 文件路径
    const local_res = await upToLocal(file)

    // 文件路径->读取本地文件上传到七牛云;文件名->设置为七牛云的key(可以理解为上传到七牛云后,该key值就是该文件的资源定位唯一标识)
    const qn_res = await upToQiniu(local_res)

    // 上存到七牛后,删除缓存在本地的图片
    removeTemImage(local_res.fileFullPath)

    ctx.status = 200
    ctx.body = {
      code: 0,
      message: 'success',
      data: {
        avatar: `http://${domain}/${qn_res.key}`
      }
    }
  }
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,264评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,549评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,389评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,616评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,461评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,351评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,776评论 3 387
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,414评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,722评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,760评论 2 314
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,537评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,381评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,787评论 3 300
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,030评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,304评论 1 252
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,734评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,943评论 2 336

推荐阅读更多精彩内容

  • 知识讲解 koa2框架是一个基于中间件的框架,也就是说,需要使用到的功能,比如路由(koa-router),日志(...
    SimpleCXD阅读 21,893评论 0 21
  • demo地址 使用 koa-body 中间件获取上传的文件 koa-body 支持文件、json、form格式的请...
    Jonath阅读 253评论 0 0
  • 久违的晴天,家长会。 家长大会开好到教室时,离放学已经没多少时间了。班主任说已经安排了三个家长分享经验。 放学铃声...
    飘雪儿5阅读 7,454评论 16 22
  • 今天感恩节哎,感谢一直在我身边的亲朋好友。感恩相遇!感恩不离不弃。 中午开了第一次的党会,身份的转变要...
    迷月闪星情阅读 10,534评论 0 11
  • 可爱进取,孤独成精。努力飞翔,天堂翱翔。战争美好,孤独进取。胆大飞翔,成就辉煌。努力进取,遥望,和谐家园。可爱游走...
    赵原野阅读 2,706评论 1 1