别用字符数砍上下文:按分词器做 Token 预算与截断对齐
字符串截断在中文和工具 schema 下容易对不齐。本文把上下文做成可测试的会计层:按通道预留、边界对齐、超限降级,并用同一套夹具回归多模型分词差异。
标签「LLM应用开发」下共有 3 篇文章。
字符串截断在中文和工具 schema 下容易对不齐。本文把上下文做成可测试的会计层:按通道预留、边界对齐、超限降级,并用同一套夹具回归多模型分词差异。
把 LLM 当普通 HTTP 去压会高估吞吐、低估连接占用。本文用 Node.js 模拟首字延迟、流式读取与中途取消,把结果对上并发预算与取消链路。
截图点击好看却难复现。本文用无障碍树、稳定选择器与动作预算做成 Playwright 浏览器工具层,截图只做失败诊断,并给出可审计、可回放的操作接口。