<tag />

#LLM 工程化

标签「LLM 工程化」下共有 4 篇文章。

一次回答为何无法复现：为 LLM 请求建立版本指纹与证据包
2026-08-21 3 分钟

一次回答为何无法复现：为 LLM 请求建立版本指纹与证据包

用 Node.js 记录模型、提示词、工具 Schema、检索快照与运行参数，并生成可校验、可脱敏回放的最小证据包。

LLM 工程化Node.js可复现性
阅读全文 Xu Kang
模型越快不等于任务越快：用 Node.js 构建可验证的动态路由器
2026-08-20 4 分钟

模型越快不等于任务越快：用 Node.js 构建可验证的动态路由器

从端到端任务耗时出发，实现包含质量门槛、决策日志、影子流量、离线回放与安全回滚的 LLM 动态路由器。

LLM 工程化Node.js模型路由
阅读全文 Xu Kang
LLM 成本不能只看 Token：Node.js 请求级账本与预算护栏
2026-08-17 4 分钟

LLM 成本不能只看 Token：Node.js 请求级账本与预算护栏

从重试、缓存、模型切换和工具调用出发，构建可追溯的请求级成本账本，并实现价格版本化、异步对账与预算熔断。

LLM 工程化Node.jsFinOps
阅读全文 Xu Kang
别让 LLM 请求拖垮后端：Node.js 并发预算与公平队列实战
2026-08-07 4 分钟

别让 LLM 请求拖垮后端：Node.js 并发预算与公平队列实战

从批量生成与多租户场景出发，实现分模型并发预算、有界队列、超时取消和公平调度，让 LLM 服务负载可控。

LLM 工程化Node.js并发控制
阅读全文 Xu Kang