<tag />

#LLM

标签「LLM」下共有 3 篇文章。

别把截断当成功：用 Node.js 检测 max_tokens 并安全续写
2026-10-10 5 分钟

别把截断当成功：用 Node.js 检测 max_tokens 并安全续写

生产中常把截断输出当完成，半截 JSON 会打进业务库。本文用 Node.js 检测中断、重叠续写并限制次数与费用，校验通过前拒绝提交。

LLMNode.js结构化输出
阅读全文 Xu Kang
别让动态提示词打飞 Prompt Cache：Node.js 前缀稳定与命中观测
2026-09-27 5 分钟

别让动态提示词打飞 Prompt Cache：Node.js 前缀稳定与命中观测

供应商侧 Prompt Cache 要稳定长前缀，动态工具会让命中归零。用 Node.js 做前缀稳定化与尾部分离，并记录命中费用，避免缓存从未生效。

AI 工程LLMNode.js
阅读全文 Xu Kang
LLM 结构化输出也会升级：用 Node.js 管理 Schema 兼容、迁移与回滚
2026-08-22 5 分钟

LLM 结构化输出也会升级：用 Node.js 管理 Schema 兼容、迁移与回滚

通过版本化 Schema、兼容性检查、数据迁移和回放测试，让 LLM 输出与提示词、业务代码一起演进，并保留可靠的回滚能力。

LLMNode.jsAI 工程
阅读全文 Xu Kang