Buffer 缓冲区:字节、编码与 ArrayBuffer
🎯 引言
学完这篇文章,你能在文字与字节之间转换,并理解 Buffer 和 ArrayBuffer 的数据关系。
🧱 Buffer 保存字节,编码解释文字
Buffer 是 Node.js 用来保存字节的对象。字节是文件和网络数据的基本单位,一个字节可表示 0 到 255 的整数。图片、文本和压缩文件都可以保存为字节,但并非所有字节都应该当作文字读。
字符编码规定文字怎样转换为字节。例如 UTF-8 可以把汉字转换成多个字节,读取时再用相同规则还原。下面先在同一个 .mjs 文件中依次创建、还原并查看 Buffer 长度;后面的复制和共享示例分别单独运行。所有示例均无需安装包。
📝 from:把文字变成 Buffer
const bytes = Buffer.from('你好', 'utf8')
console.log(bytes)
输出 <Buffer e4 bd a0 e5 a5 bd>。from 返回新的 Buffer;显示中的六组十六进制数各代表一个字节,并不是乱码。
图片读取或网络数据处理中,程序经常拿到的就是这类对象。此时需要先确定内容的含义,才能决定是否转换成字符串。
📖 toString:按编码还原文字
在上一段后追加:
console.log(bytes.toString('utf8'))
新增输出为 你好,返回的是普通 JavaScript 字符串。toString 不会把原 Buffer 改成字符串,而是返回转换结果;解码规则与数据不匹配时可能出现乱码或替代字符。
📏 length:这里统计的是字节数
继续查看刚才的 Buffer:
console.log(bytes.length)
输出 6。而 '你好'.length 为 2,两者统计对象不同:Buffer 数字节,JavaScript 字符串数 UTF-16 编码单元,这两个汉字各占一个这样的单元。
计算文件大小或请求内容长度时,不能直接拿字符串 length 代替字节长度。尤其是汉字、表情等内容,两者更容易不同。
⚖️ 复制 Buffer:修改新对象不影响原对象
Buffer.from 接收已有 Buffer 时,会复制其内容。单独运行下面的例子:
const original = Buffer.from('A')
const copy = Buffer.from(original)
copy[0] = 66
console.log(original.toString(), copy.toString())
输出 A B。字母 A 的这个编码值为 65,B 为 66;改变副本的字节没有改变原对象。这适合需要独立修改一份数据的情况。
🔗 ArrayBuffer、Uint8Array 与 Buffer 怎么配合
ArrayBuffer 保存字节,Uint8Array 提供逐个读写这些字节的方式,Buffer 则提供 Node.js 常用的字节操作和编码转换。 例如某个接口返回 ArrayBuffer,而你需要把其中的文本解码出来,就可以交给 Buffer 处理。
ArrayBuffer:先有保存数据的空间
ArrayBuffer 是 JavaScript 提供的二进制存储对象。它记录一块空间,但本身没有按下标读取其中字节的方法,也没有把字节转成文字的方法。
下面单独创建 binary.mjs,后续示例依次追加到这个文件:
const memory = new ArrayBuffer(2)
console.log(memory.byteLength)
输出 2。这创建了两个字节的空间,初始内容都是 0。这里的 2 是字节数,不是两个字符串元素;ArrayBuffer 也不是普通数组。
Uint8Array:按字节读取和修改这块空间
Uint8Array 是一种类型化数组:它的每个元素都按指定的数值类型保存。这里的 Uint8 表示无符号 8 位整数,每个元素占一个字节,可以表示 0 到 255。
把已有 ArrayBuffer 传给它,就能读写这块空间:
const bytes = new Uint8Array(memory)
bytes[0] = 65
bytes[1] = 66
console.log(bytes)
输出 Uint8Array(2) [65, 66]。这里没有复制一份数据,修改的是 memory 中的两个字节。这种“通过一个对象读写已有存储空间”的关系就叫视图。它不是网页视图,也不是把数据转换成另一份内容。
Buffer:给同一份字节增加文字解码能力
在 Node.js 中,可以把这块 ArrayBuffer 交给 Buffer:
const buffer = Buffer.from(memory)
console.log(buffer.toString('utf8'))
输出 AB,因为 UTF-8 中字节 65、66 分别对应字母 A、B。Buffer 也支持按字节读写,并额外提供这里使用的 toString('utf8') 等编码方法。
此时的关系是:
| 对象 | 在这个例子中负责什么 |
|---|---|
memory(ArrayBuffer) | 保存两个字节 |
bytes(Uint8Array) | 按下标读写这两个字节 |
buffer(Buffer) | 访问同一份字节,并将它们解码成文字 |
共享数据:一边修改,另一边也会看到
继续修改 Uint8Array:
bytes[0] = 67
console.log(buffer.toString('utf8'))
输出 CB。Uint8Array 和 Buffer 使用的是同一块存储空间,所以修改立即反映在另一边。这与前面的 Buffer.from(existingBuffer) 不同:传入已有 Buffer 会复制,传入 ArrayBuffer 则共享数据。
日常通过 Node.js 文件 API 拿到 Buffer 后,直接使用它即可。只有对接返回 ArrayBuffer 的接口时,才需要考虑这种转换;无需为了读取普通文件先手动创建这三个对象。
🪤 Base64 是表示方式,不是加密
字节需要通过文本字段传递时,可以编码为 Base64:
console.log(Buffer.from('hello').toString('base64'))
输出 aGVsbG8=。还原时指定输入编码为 base64:
console.log(Buffer.from('aGVsbG8=', 'base64').toString('utf8'))
输出 hello。
任何拿到内容的人都可以按相同规则还原,所以它不能用于保密。分块文本还有另一类问题:一个汉字可能跨两个数据块,独立解码每块可能破坏字符,流章节会说明怎样处理。
❓ 知识问答
Q1:读文本为什么得到 Buffer?
文件 API 未指定编码时通常按原始字节返回,需要指定编码或调用 toString。
Q2:base64 能隐藏敏感内容吗?
不能,它只是可逆的编码表示。
Q3:Buffer.from(existingBuffer) 会共享吗?
这个重载会复制内容,不同于传入 ArrayBuffer 时的共享行为。
🧪 小练习
把 hello 和 你好 分别转换成 Buffer,输出各自字节长度,再还原成文字。
// 请在这里编写代码
🎉 现在可以用自己的例子验证这些用法啦!
