把 serving benchmark 做成“可回归 + 可解释”：在不污染 benchmark 数据的前提下，给 online/offline 增加独立 profiling stage（PyTorch profiler + Nsight Systems），并把 TensorRT-LLM 也纳入同一套公平对比；同...
参考 SGLang/vLLM/TensorRT-LLM 的 overlap scheduling：用 future-token 占位 + GPU FutureMap + one-step delayed output，把 scheduler 从“GPU->CPU 同步 + CPU 串行”改成真正的 CPU/...
做一次业界级调研：vLLM/SGLang/TensorRT-LLM 的进程拆分怎么做；再把 roseinfer 从“一个进程干所有事”改成“API 进程 + engine 进程”，用可回归的 online/offline benchmark 跑出数据与图。
继续补齐 roseinfer 的“业内默认”推理优化：把 MLP epilogue（bias+GELU + bias+residual）做成 Triton kernel，把 sampling（top-k/top-p + sample）接到 flashinfer 的 from_logits GPU kernel，并...
业内推理引擎的性能不只靠 attention：decode(T=1) 下 LN/残差/激活这类小算子会变成“launch + 带宽”热点。本文调研 vLLM/SGLang/TensorRT-LLM 的融合思路，并在 roseinfer 落地 Triton fused add+LayerNorm（in-place）...