String Decoder
Stability: 2 - Stable 稳定
String Decoder 的用途
String Decode 主要是弥补 Buffer 模块的缺陷,因为 Buffer 有的时候无法正确显示多字节的字符串,比如说 utf8
,请看下面的例子:
const buf = Buffer.from(
'尘世是不会轻易让一个人孤独的,群居需要一种平衡,嫉妒引发的诽谤,羞辱,打击和迫害。' +
'你若不再脱颖,你将平凡,你若继续走,终于使众生无法超越了,众生便尊你为神圣,神圣才是真正的孤独。')
let str = ''
// buf 变量每10字节读取一次,保存到 str
for(let i=0,l=buf.length;i<l;i+=10){
let _buf = buf.slice(i, i+10)
str += _buf.toString()
}
console.log(str)
运行这段代码我们发现,会有乱码,有的同学会说,你直接使用下面的代码不就没有乱码了吗:
console.log(buf.toString()) // buf 变量不做任何操作
但是实际生产中,并不是所有的情况都如我们所愿,比如我们读取一个特别大的文本的时候,我们不可能只用一个变量 buf 就可以接收文件的全部数据(因为可能会超出 Buffer 实例的最大长度,而且只用一个变量存储太多的数据效率可能也不是很高),这个时候我们就需要多次读取数据,每次读取文件数据的一部分,如上面的代码所示
解决问题
那么 String Decoder 是如何解决这个问题呢,我们把代码改造一下:
const StringDecoder = require('string_decoder').StringDecoder;
const decoder = new StringDecoder('utf8');
const buf = Buffer.from(
'尘世是不会轻易让一个人孤独的,群居需要一种平衡,嫉妒引发的诽谤,羞辱,打击和迫害。' +
'你若不再脱颖,你将平凡,你若继续走,终于使众生无法超越了,众生便尊你为神圣,神圣才是真正的孤独。')
let str = ''
for(let i=0,l=buf.length;i<l;i+=10){
let _buf = buf.slice(i, i+10)
str += decoder.write(_buf) // 这里使用了 String Decoder 的 API
}
console.log(str)
这样就没有乱码了,但是为什么呢?
探究原理
请看下面的代码:
const StringDecoder = require('string_decoder').StringDecoder;
const decoder = new StringDecoder('utf8');
// <Buffer e6 88 91> utf8 三个字节表示'我'
console.log(decoder.write(Buffer.alloc(1, 0xe6)) // 返回空字符串
console.log(decoder.write(Buffer.alloc(1, 0x88)) // 返回空字符串
console.log(decoder.write(Buffer.alloc(1, 0x91)) // 返回'我'
通过代码我们可知,“我”是由三个字节组成的,我们把存有 0xe6
,0x88
,0x91
的 Buffer 依次调用 decoder.write
。当写入 0xe6
时,decoder 判断它不是一个有效的字符,所以返回空字符串,但是decoder内部有一个缓存,把 0xe6
存了起来;当写入 0x88
时,这个时候缓存是 <Buffer e6 88>
,但 decoder 判断它也不是一个有效的字符,所以同样返回空字符串,最后写入 0x91
时,这个时候缓存是 <Buffer e6 88 91>
,它是有效字符,所以返回“我”
String Decoder 还有一个 API 是 decoder.end()
,功能跟 decoder.write()
差不多,有兴趣的朋友可以阅读官方文档去了解具体内容。
- Node.js String Decoder 官方文档。
- Node.js 文档版本为: v6.11.3
简书作者 小菜荔枝原创 转载请联系作者获得授权