2025/2/12 · AI Inference / Systems

推理系统的三个反馈环

从排队、缓存和批处理三个反馈环理解在线推理。

在线推理不是一串静态算子，而是互相影响的控制系统。排队策略改变批大小，批大小改变执行时间，执行时间再改变队列。

先测量，再调度

把 TTFT、ITL 和吞吐放在同一张时间轴上。单独优化其中一个指标，常常只是移动瓶颈。

score = prefix_hit * (1 - kv_utilization)
worker = max(candidates, key=score)