#并发控制

别让 LLM 请求拖垮后端：Node.js 并发预算与公平队列实战

从批量生成与多租户场景出发，实现分模型并发预算、有界队列、超时取消和公平调度，让 LLM 服务负载可控。