文本生成与模型参数

掌握 Chat Completions 的常用生成参数,理解模型输出、停止原因和 Token 用量。

🎯 引言

上一篇,我们使用 OpenAI SDK,通过 AIHubMix 成功调用模型并获得了回答。但在实际开发中,除了让模型生成文字,我们还需要控制它的回答风格与长度,并知道生成是否完整、消耗了多少 Token。

本篇继续以“生成商品简介”为例,在已有代码上增加常用参数,结合实际输出理解 messages、max_completion_tokens、temperature 和响应字段。学完后,你可以根据业务需求调整生成方式,并判断返回结果能否直接使用。


🛠 生成一段商品简介

继续使用上一篇创建的 ai-sdk-course 项目,环境为 Node.js 24.x、openai@7.62.0 。项目根目录的 .env 已经保存了 AIHubMix 的密钥、接口地址和模型 ID,无需重新配置或安装依赖。

在项目根目录创建 02.generate.mjs:

import OpenAI from "openai";

const client = new OpenAI({
    apiKey: process.env.AI_API_KEY,
    baseURL: process.env.AI_BASE_URL
});

const response = await client.chat.completions.create({
    model: process.env.AI_MODEL,
    messages: [
        {
            role: "system",
            content: "你是一名电商文案编辑,请使用简洁、客观的中文回答。"
        },
        {
            role: "user",
            content: "为一款 500 毫升保温杯写一段不超过 60 字的商品介绍。"
        }
    ],
    max_completion_tokens: 200
});

const choice = response.choices[0];

console.log("生成内容:", choice.message.content);
console.log("响应 ID:", response.id);
console.log("结束原因:", choice.finish_reason);
console.log("Token 用量:", response.usage);

在项目根目录运行:

node --env-file=.env 02.generate.mjs

如果需要使用上一篇配置的本地 HTTP 代理,运行:

HTTPS_PROXY=http://127.0.0.1:7890 NODE_USE_ENV_PROXY=1 node --env-file=.env 02.generate.mjs

终端可能输出如下内容:

生成内容: 500 毫升容量,适合通勤与日常饮水。保温时长和材质请以实际商品参数为准。
响应 ID: chatcmpl-示例ID
结束原因: stop
Token 用量: { prompt_tokens: 48, completion_tokens: 35, total_tokens: 83 }

以上是用于说明返回结构的示例,不是实际 API 测试记录;回答、响应 ID 和 Token 用量以你的运行结果为准。这次请求相比上一篇增加了 system 消息和输出 Token 上限,也多读取了响应 ID 与停止原因。


🧱 控制模型的生成方式

messages:区分回答要求与具体任务

本次请求发送了两条消息:

  • system:设置通用的回答要求,例如让模型以电商文案编辑的角度,用简洁、客观的中文表达。
  • user:提出本次具体任务,例如为 500 毫升保温杯写一段不超过 60 字的介绍。

这样就把 回答要求 和 具体任务 分开了。以后需要为无线鼠标、键盘等商品生成简介时,可以保留 system 的要求,只修改 user 的内容。

本篇仍然是一次请求中的文本生成。至于怎样把前几轮消息一起发给模型,下一篇再介绍。

max_completion_tokens:设置输出上限

代码中的 max_completion_tokens: 200 限制本次生成可使用的输出 Token 数量,而不是限制为 200 个汉字,也不意味着模型一定会生成 200 个 Token。

这里实际存在两种不同的限制:

限制方式作用
提示词中的“不超过 60 字”告诉模型希望得到多长的商品简介,模型会尽量遵守
max_completion_tokens: 200为模型生成设置最多 200 个输出 Token 的预算

例如,模型可能生成一段只有 40 字的文案,正常结束时并不会因为上限设为 200 就继续补足 Token。反过来,如果上限设得太小,模型也可能还没写完就停止。

如果业务有 最多 60 个字 的严格要求,还需要在程序中检查最终文本的长度;提示词要求和 Token 上限都不能代替严格的业务校验。

temperature:调整表达的变化程度

同样是生成商品文案,有时希望措辞稳定,有时希望多一些创意。对于支持 temperature 的模型,可以用它调整生成时的采样随机性。

例如,把原请求中的输出上限部分改成:

    max_completion_tokens: 200,
    temperature: 0.3

再使用同一个问题:“为一款 500 毫升保温杯写一句广告语。” 不同设置下,可能出现这样的表达倾向:

参数示例文案
temperature: 0.3(较低)500 毫升保温杯,方便携带,适合日常饮水。
temperature: 1(较高)把温暖带在身边,让每一次饮水都更从容。

这些文案属于人为编写的 效果示意 ,不是两次真实模型调用的结果,也不表示参数一定会产生这样的文字。

temperature 较低时,模型通常更倾向于选择概率较高的后续内容,输出变化相对较小;较高时,生成的表达通常更有变化。因此,信息提取或格式相对固定的任务可以尝试较低的值,创意文案可以尝试较高的值,但是否适合仍要用实际结果判断。

需要注意,降低随机性并不等于提高事实准确性。例如,商品材质、保温时长等信息没有提供时,调低 temperature 也不能保证模型不会编造;这些信息应由可靠的商品数据提供。

不同模型对 temperature 的支持范围可能不同,部分模型不支持该参数。通过 AIHubMix 切换模型时,应以平台和模型实际支持的参数为准;不支持时省略即可。

🧱 看懂模型返回的结果

除了回答正文,Chat Completions 还会返回一些用于判断本次生成情况的数据:

字段用途
response.id本次响应的标识,便于定位请求
response.choices[0].message.content读取第一条候选结果的文本
response.choices[0].finish_reason判断模型为什么停止生成
response.usage查看本次调用的 Token 统计(平台返回时)

choices 是候选结果列表。本例未请求多个候选结果,因此读取 choices[0]。

finish_reason:为什么要检查停止原因?

看两个输出示意,就能理解正常结束与长度截断的区别:

停止原因生成内容(示意)
stop这款保温杯容量为 500 毫升,适合通勤、办公和日常饮水。
length这款保温杯容量为 500 毫升,适合通勤、办公和……

第二种情况虽然返回了文字,但内容可能还没写完。这时,不能直接把它当作完整的商品简介保存。

常见的 finish_reason 包括:

值含义
stop模型正常结束本次生成
length达到生成长度限制,输出可能不完整
content_filter内容受到过滤,回答可能未完整返回

例如,获取 choice 后,可以增加一个判断:

if (choice.finish_reason === "length") {
    console.warn("输出达到 Token 上限,商品简介可能不完整");
}

出现 length 时,先检查是否需要提高输出上限,或让任务要求更精简。stop 只说明生成正常结束,不代表内容一定准确,也不保证满足 60 字的业务要求。

usage:输入和输出各用了多少 Token?

示例中的 response.usage 包含三个主要字段:

字段含义
prompt_tokens输入消息使用的 Token
completion_tokens模型生成使用的 Token
total_tokens本次请求统计的总 Token

例如,示例输出里输入使用了 48 个 Token,输出使用了 35 个,总计 83 个。这里的数值只是示意,实际用量由服务端统计;AIHubMix 上不同模型的返回字段也可能存在差异。

Token 用量可以用于估算调用成本,但不能直接当作金额。实际费用还需要结合 AIHubMix 对当前模型的计费标准。


❓ 知识问答

Q1:已经要求“不超过 60 字”,还需要设置输出 Token 上限吗?

两者解决的问题不同。字数要求约束希望得到的文案形式,Token 上限控制生成预算。如果必须严格限制字数,还需要在代码里验证生成文本。

Q2:把 temperature 调低,能保证商品信息准确吗?

不能。它调整的是生成时的采样随机性,不负责验证事实。商品容量、材质、保温时长等信息应来自可靠的商品数据,而不是通过调节参数来保证正确。


🧪 小练习

沿用 02.generate.mjs,完成两个练习:

  1. 将商品改成“无线鼠标”,先保持 max_completion_tokens: 200,分别使用 temperature: 0.3 和 temperature: 1 运行几次,比较文案的表达方式。少量结果没有明显差别也属于正常现象;如果当前模型不支持 temperature,跳过这一项。
  2. 保持商品简介任务不变,将 max_completion_tokens 暂时调低(例如 20),观察 finish_reason 是否出现 length。如果没有出现,可以适当要求一段更长的介绍再测试;完成后恢复为 200。

验证标准: 能说明 system 与 user 的职责、字数要求与 Token 上限的区别;能判断输出是否可能被截断,并从 usage 中找到输入与输出的 Token 数量。


🎉 现在你不仅能生成文本,还能根据需求调整生成参数,并判断结果是否完整。下一篇将利用 messages 实现多轮对话。