#本地 LLM

别把本地模型当成换地址的云 API：用 Node.js 管排队、窗口与内存

本地模型省调用费，却不是改 localhost 就能当云 API。上下文更短、几乎无并行，内存满了进程会退出。本文用 Node.js 做健康检查、单飞队列、窗口裁剪和压力下降级，让本地模型接入现有应用时失败语义可预测。