文本生成与模型参数
🎯 引言
上一篇,我们使用 OpenAI SDK,通过 AIHubMix 成功调用模型并获得了回答。但在实际开发中,除了让模型生成文字,我们还需要控制它的回答风格与长度,并知道生成是否完整、消耗了多少 Token。
本篇继续以“生成商品简介”为例,在已有代码上增加常用参数,结合实际输出理解 messages、max_completion_tokens、temperature 和响应字段。学完后,你可以根据业务需求调整生成方式,并判断返回结果能否直接使用。
🛠 生成一段商品简介
继续使用上一篇创建的 ai-sdk-course 项目,环境为 Node.js 24.x、openai@7.62.0 。项目根目录的 .env 已经保存了 AIHubMix 的密钥、接口地址和模型 ID,无需重新配置或安装依赖。
在项目根目录创建 02.generate.mjs:
import OpenAI from "openai";
const client = new OpenAI({
apiKey: process.env.AI_API_KEY,
baseURL: process.env.AI_BASE_URL
});
const response = await client.chat.completions.create({
model: process.env.AI_MODEL,
messages: [
{
role: "system",
content: "你是一名电商文案编辑,请使用简洁、客观的中文回答。"
},
{
role: "user",
content: "为一款 500 毫升保温杯写一段不超过 60 字的商品介绍。"
}
],
max_completion_tokens: 200
});
const choice = response.choices[0];
console.log("生成内容:", choice.message.content);
console.log("响应 ID:", response.id);
console.log("结束原因:", choice.finish_reason);
console.log("Token 用量:", response.usage);
在项目根目录运行:
node --env-file=.env 02.generate.mjs
如果需要使用上一篇配置的本地 HTTP 代理,运行:
HTTPS_PROXY=http://127.0.0.1:7890 NODE_USE_ENV_PROXY=1 node --env-file=.env 02.generate.mjs
终端可能输出如下内容:
生成内容: 500 毫升容量,适合通勤与日常饮水。保温时长和材质请以实际商品参数为准。
响应 ID: chatcmpl-示例ID
结束原因: stop
Token 用量: { prompt_tokens: 48, completion_tokens: 35, total_tokens: 83 }
以上是用于说明返回结构的示例,不是实际 API 测试记录;回答、响应 ID 和 Token 用量以你的运行结果为准。这次请求相比上一篇增加了 system 消息和输出 Token 上限,也多读取了响应 ID 与停止原因。
🧱 控制模型的生成方式
messages:区分回答要求与具体任务
本次请求发送了两条消息:
system:设置通用的回答要求,例如让模型以电商文案编辑的角度,用简洁、客观的中文表达。user:提出本次具体任务,例如为 500 毫升保温杯写一段不超过 60 字的介绍。
这样就把 回答要求 和 具体任务 分开了。以后需要为无线鼠标、键盘等商品生成简介时,可以保留 system 的要求,只修改 user 的内容。
本篇仍然是一次请求中的文本生成。至于怎样把前几轮消息一起发给模型,下一篇再介绍。
max_completion_tokens:设置输出上限
代码中的 max_completion_tokens: 200 限制本次生成可使用的输出 Token 数量,而不是限制为 200 个汉字,也不意味着模型一定会生成 200 个 Token。
这里实际存在两种不同的限制:
| 限制方式 | 作用 |
|---|---|
| 提示词中的“不超过 60 字” | 告诉模型希望得到多长的商品简介,模型会尽量遵守 |
max_completion_tokens: 200 | 为模型生成设置最多 200 个输出 Token 的预算 |
例如,模型可能生成一段只有 40 字的文案,正常结束时并不会因为上限设为 200 就继续补足 Token。反过来,如果上限设得太小,模型也可能还没写完就停止。
如果业务有 最多 60 个字 的严格要求,还需要在程序中检查最终文本的长度;提示词要求和 Token 上限都不能代替严格的业务校验。
temperature:调整表达的变化程度
同样是生成商品文案,有时希望措辞稳定,有时希望多一些创意。对于支持 temperature 的模型,可以用它调整生成时的采样随机性。
例如,把原请求中的输出上限部分改成:
max_completion_tokens: 200,
temperature: 0.3
再使用同一个问题:“为一款 500 毫升保温杯写一句广告语。” 不同设置下,可能出现这样的表达倾向:
| 参数 | 示例文案 |
|---|---|
temperature: 0.3(较低) | 500 毫升保温杯,方便携带,适合日常饮水。 |
temperature: 1(较高) | 把温暖带在身边,让每一次饮水都更从容。 |
这些文案属于人为编写的 效果示意 ,不是两次真实模型调用的结果,也不表示参数一定会产生这样的文字。
temperature 较低时,模型通常更倾向于选择概率较高的后续内容,输出变化相对较小;较高时,生成的表达通常更有变化。因此,信息提取或格式相对固定的任务可以尝试较低的值,创意文案可以尝试较高的值,但是否适合仍要用实际结果判断。
需要注意,降低随机性并不等于提高事实准确性。例如,商品材质、保温时长等信息没有提供时,调低 temperature 也不能保证模型不会编造;这些信息应由可靠的商品数据提供。
temperature 的支持范围可能不同,部分模型不支持该参数。通过 AIHubMix 切换模型时,应以平台和模型实际支持的参数为准;不支持时省略即可。🧱 看懂模型返回的结果
除了回答正文,Chat Completions 还会返回一些用于判断本次生成情况的数据:
| 字段 | 用途 |
|---|---|
response.id | 本次响应的标识,便于定位请求 |
response.choices[0].message.content | 读取第一条候选结果的文本 |
response.choices[0].finish_reason | 判断模型为什么停止生成 |
response.usage | 查看本次调用的 Token 统计(平台返回时) |
choices 是候选结果列表。本例未请求多个候选结果,因此读取 choices[0]。
finish_reason:为什么要检查停止原因?
看两个输出示意,就能理解正常结束与长度截断的区别:
| 停止原因 | 生成内容(示意) |
|---|---|
stop | 这款保温杯容量为 500 毫升,适合通勤、办公和日常饮水。 |
length | 这款保温杯容量为 500 毫升,适合通勤、办公和…… |
第二种情况虽然返回了文字,但内容可能还没写完。这时,不能直接把它当作完整的商品简介保存。
常见的 finish_reason 包括:
| 值 | 含义 |
|---|---|
stop | 模型正常结束本次生成 |
length | 达到生成长度限制,输出可能不完整 |
content_filter | 内容受到过滤,回答可能未完整返回 |
例如,获取 choice 后,可以增加一个判断:
if (choice.finish_reason === "length") {
console.warn("输出达到 Token 上限,商品简介可能不完整");
}
出现 length 时,先检查是否需要提高输出上限,或让任务要求更精简。stop 只说明生成正常结束,不代表内容一定准确,也不保证满足 60 字的业务要求。
usage:输入和输出各用了多少 Token?
示例中的 response.usage 包含三个主要字段:
| 字段 | 含义 |
|---|---|
prompt_tokens | 输入消息使用的 Token |
completion_tokens | 模型生成使用的 Token |
total_tokens | 本次请求统计的总 Token |
例如,示例输出里输入使用了 48 个 Token,输出使用了 35 个,总计 83 个。这里的数值只是示意,实际用量由服务端统计;AIHubMix 上不同模型的返回字段也可能存在差异。
Token 用量可以用于估算调用成本,但不能直接当作金额。实际费用还需要结合 AIHubMix 对当前模型的计费标准。
❓ 知识问答
Q1:已经要求“不超过 60 字”,还需要设置输出 Token 上限吗?
两者解决的问题不同。字数要求约束希望得到的文案形式,Token 上限控制生成预算。如果必须严格限制字数,还需要在代码里验证生成文本。
Q2:把 temperature 调低,能保证商品信息准确吗?
不能。它调整的是生成时的采样随机性,不负责验证事实。商品容量、材质、保温时长等信息应来自可靠的商品数据,而不是通过调节参数来保证正确。
🧪 小练习
沿用 02.generate.mjs,完成两个练习:
- 将商品改成“无线鼠标”,先保持
max_completion_tokens: 200,分别使用temperature: 0.3和temperature: 1运行几次,比较文案的表达方式。少量结果没有明显差别也属于正常现象;如果当前模型不支持temperature,跳过这一项。 - 保持商品简介任务不变,将
max_completion_tokens暂时调低(例如20),观察finish_reason是否出现length。如果没有出现,可以适当要求一段更长的介绍再测试;完成后恢复为200。
验证标准: 能说明 system 与 user 的职责、字数要求与 Token 上限的区别;能判断输出是否可能被截断,并从 usage 中找到输入与输出的 Token 数量。
🎉 现在你不仅能生成文本,还能根据需求调整生成参数,并判断结果是否完整。下一篇将利用 messages 实现多轮对话。
