笔记
我们的技术笔记与长文，按时间倒序。每篇写一件事：在什么条件下、出了什么现象、怎么定位、怎么处置。
- Prefill 与 Decode 分离部署的收益窗口与 KV 传输约束
- MoE 专家并行的 all-to-all：两跳通信与吞吐波动
- TTFT、TPOT 与尾延迟：推理服务的分段指标口径
- 投机解码接受率的诊断与 --speculative-config 取值
- KV cache 量化的精度代价与 --kv-cache-dtype 取值
- 长上下文外推与位置编码的边界
- 连续批处理的调度、抢占与重算
- 管线并行的气泡：微批切分、气泡率与设备利用率
- 静默回退的定位：target_backend 与 resolved_backend 的比对
- benchmark 变快的归因：路径证据与分段计时
- KV cache 显存占用估算与 max_model_len 定位
- Prefix Caching 命中率的诊断：块哈希构成与满块边界
- 权重量化方案的选择与算子命中定位
- GQA / MQA / MLA 对 KV cache 占用与解码带宽的影响
- 图捕获的取舍边界与分档捕获
- 权重格式转换与精度损失的定位
- Chunked Prefill 的收益窗口与代价：TTFT 上升与 TPOT 收敛
- 离线模式与服务模式的批构成差异与结论边界
- 三层版本轴的兼容窗口与适配结论的版本指纹
- 张量并行度的选择与通信收益拐点
- 多轮对话中的 KV 复用与显存增长
- 指标端点与日志噪声：采集哪些、怎么读
- 流式输出下的 ITL 抖动：均值掩盖了什么
- 注意力后端的选择与自动降级：环境变量与命中证据
- FCFS 排队下的长请求饥饿：队首阻塞、抢占选取与队列顺序
- OpenAI 兼容层的口径差异：stop、logprobs 与流式分块
- 模型加载与冷启动的分段：权重反序列化、显存画像与图捕获
- 采样参数对解码开销的影响：temperature、top_p 与采样核路径
- 显存不足时的重算与换出：`--swap-space` 与抢占路径选择
- 块大小与显存碎片：`--block-size` 取值、块内浪费与块对齐
- 适配结论的工况绑定与可复现性判定