Buffer 缓冲区:字节、编码与 ArrayBuffer

在文字与字节之间转换,并理解 Buffer 和 ArrayBuffer 的数据关系。

🎯 引言

学完这篇文章,你能在文字与字节之间转换,并理解 Buffer 和 ArrayBuffer 的数据关系。


🧱 Buffer 保存字节,编码解释文字

Buffer 是 Node.js 用来保存字节的对象。字节是文件和网络数据的基本单位,一个字节可表示 0 到 255 的整数。图片、文本和压缩文件都可以保存为字节,但并非所有字节都应该当作文字读。

字符编码规定文字怎样转换为字节。例如 UTF-8 可以把汉字转换成多个字节,读取时再用相同规则还原。下面先在同一个 .mjs 文件中依次创建、还原并查看 Buffer 长度;后面的复制和共享示例分别单独运行。所有示例均无需安装包。


📝 from:把文字变成 Buffer

const bytes = Buffer.from('你好', 'utf8')
console.log(bytes)

输出 <Buffer e4 bd a0 e5 a5 bd>。from 返回新的 Buffer;显示中的六组十六进制数各代表一个字节,并不是乱码。

图片读取或网络数据处理中,程序经常拿到的就是这类对象。此时需要先确定内容的含义,才能决定是否转换成字符串。


📖 toString:按编码还原文字

在上一段后追加:

console.log(bytes.toString('utf8'))

新增输出为 你好,返回的是普通 JavaScript 字符串。toString 不会把原 Buffer 改成字符串,而是返回转换结果;解码规则与数据不匹配时可能出现乱码或替代字符。


📏 length:这里统计的是字节数

继续查看刚才的 Buffer:

console.log(bytes.length)

输出 6。而 '你好'.length 为 2,两者统计对象不同:Buffer 数字节,JavaScript 字符串数 UTF-16 编码单元,这两个汉字各占一个这样的单元。

计算文件大小或请求内容长度时,不能直接拿字符串 length 代替字节长度。尤其是汉字、表情等内容,两者更容易不同。


⚖️ 复制 Buffer:修改新对象不影响原对象

Buffer.from 接收已有 Buffer 时,会复制其内容。单独运行下面的例子:

const original = Buffer.from('A')
const copy = Buffer.from(original)
copy[0] = 66
console.log(original.toString(), copy.toString())

输出 A B。字母 A 的这个编码值为 65,B 为 66;改变副本的字节没有改变原对象。这适合需要独立修改一份数据的情况。


🔗 ArrayBuffer、Uint8Array 与 Buffer 怎么配合

ArrayBuffer 保存字节,Uint8Array 提供逐个读写这些字节的方式,Buffer 则提供 Node.js 常用的字节操作和编码转换。 例如某个接口返回 ArrayBuffer,而你需要把其中的文本解码出来,就可以交给 Buffer 处理。

ArrayBuffer:先有保存数据的空间

ArrayBuffer 是 JavaScript 提供的二进制存储对象。它记录一块空间,但本身没有按下标读取其中字节的方法,也没有把字节转成文字的方法。

下面单独创建 binary.mjs,后续示例依次追加到这个文件:

const memory = new ArrayBuffer(2)
console.log(memory.byteLength)

输出 2。这创建了两个字节的空间,初始内容都是 0。这里的 2 是字节数,不是两个字符串元素;ArrayBuffer 也不是普通数组。

Uint8Array:按字节读取和修改这块空间

Uint8Array 是一种类型化数组:它的每个元素都按指定的数值类型保存。这里的 Uint8 表示无符号 8 位整数,每个元素占一个字节,可以表示 0 到 255。

把已有 ArrayBuffer 传给它,就能读写这块空间:

const bytes = new Uint8Array(memory)
bytes[0] = 65
bytes[1] = 66
console.log(bytes)

输出 Uint8Array(2) [65, 66]。这里没有复制一份数据,修改的是 memory 中的两个字节。这种“通过一个对象读写已有存储空间”的关系就叫视图。它不是网页视图,也不是把数据转换成另一份内容。

Buffer:给同一份字节增加文字解码能力

在 Node.js 中,可以把这块 ArrayBuffer 交给 Buffer:

const buffer = Buffer.from(memory)
console.log(buffer.toString('utf8'))

输出 AB,因为 UTF-8 中字节 65、66 分别对应字母 A、B。Buffer 也支持按字节读写,并额外提供这里使用的 toString('utf8') 等编码方法。

此时的关系是:

对象在这个例子中负责什么
memory(ArrayBuffer)保存两个字节
bytes(Uint8Array)按下标读写这两个字节
buffer(Buffer)访问同一份字节,并将它们解码成文字

共享数据:一边修改,另一边也会看到

继续修改 Uint8Array:

bytes[0] = 67
console.log(buffer.toString('utf8'))

输出 CB。Uint8Array 和 Buffer 使用的是同一块存储空间,所以修改立即反映在另一边。这与前面的 Buffer.from(existingBuffer) 不同:传入已有 Buffer 会复制,传入 ArrayBuffer 则共享数据。

日常通过 Node.js 文件 API 拿到 Buffer 后,直接使用它即可。只有对接返回 ArrayBuffer 的接口时,才需要考虑这种转换;无需为了读取普通文件先手动创建这三个对象。


🪤 Base64 是表示方式,不是加密

字节需要通过文本字段传递时,可以编码为 Base64:

console.log(Buffer.from('hello').toString('base64'))

输出 aGVsbG8=。还原时指定输入编码为 base64:

console.log(Buffer.from('aGVsbG8=', 'base64').toString('utf8'))

输出 hello。

任何拿到内容的人都可以按相同规则还原,所以它不能用于保密。分块文本还有另一类问题:一个汉字可能跨两个数据块,独立解码每块可能破坏字符,流章节会说明怎样处理。


❓ 知识问答

Q1:读文本为什么得到 Buffer?

文件 API 未指定编码时通常按原始字节返回,需要指定编码或调用 toString。

Q2:base64 能隐藏敏感内容吗?

不能,它只是可逆的编码表示。

Q3:Buffer.from(existingBuffer) 会共享吗?

这个重载会复制内容,不同于传入 ArrayBuffer 时的共享行为。


🧪 小练习

把 hello 和 你好 分别转换成 Buffer,输出各自字节长度,再还原成文字。

// 请在这里编写代码

🎉 现在可以用自己的例子验证这些用法啦!