别让缓存击穿打爆模型：用 Node.js 做单飞合并与租户隔离
精确缓存只能消掉重复命中，挡不住失效窗口里同一提示词并发打穿上游。用 Node.js 做进程内单飞、跨实例合并等待和租户隔离，并处理超时、失败穿透与负缓存。
<tag />
#LLM 应用
标签「LLM 应用」下共有 4 篇文章。
别让历史消息拖垮 AI 聊天页：虚拟列表、流式就地更新与滚动锚定
长对话全量挂载 Markdown 会拖慢输入和滚动；虚拟列表又易裁掉流式最后一条。本文用 React 实现历史虚拟化、当前消息就地更新，以及用户上翻时不强制吸底。
别直接切新模型：用 Node.js 做影子流量对比与自动回滚
契约测试难覆盖生产超长上下文和工具轨迹。用 Node.js 把真实请求异步复制到候选模型，对比解析成功率、工具序列和延迟，按阈值晋升或回滚。
检索命中不等于当前为真：Node.js 做 RAG 切片生效窗口与冲突消解
增量同步不解切片过期与多源冲突。用 Node.js 为 RAG 切片加生效窗口、过期降权、来源优先级和冲突并列，决策写入可回放记录，避免过期或矛盾段落进入提示词。