从零实现 LLM Inference：017. Profiler
使用 pytorch profiler 进行性能观测。
Recent posts
从零实现 LLM Inference：016. Simple Prefix Caching
实现简单的 prefix caching，通过 prefix cache 来复用之前的 kv-cache。
从零实现 LLM Inference：015. Simple Benchmark
实现简单的 benchmark，对比不同实现的性能。
从零实现 LLM Inference：014. Scheduler Manager
实现 scheduler manager，支持 online scheduler 的接入。
从零实现 LLM Inference：013. Simple OpenAI API
支持简单的 openai api，实现 chat completion。