从零实现 LLM Inference：004. Batch
实现 batch inference 功能，支持多条 prompt 同时推理。
最新文章
从零实现 LLM Inference：003. Sampling
实现 top-k top-p 这种 sampling 操作，并把整体的 prefill decode 流程规范化，对齐业界 vllm，huggingface 的实现。
从零实现 LLM Inference：002. KV-Cache
实现 kv-cache 部分，让模型能够处理推理时的 kv-cache。
从零实现 LLM Inference：001. Generate
实现最基本的 greedy generate。
从零实现 LLM Training：024. Eval
添加单独的 eval.py 文件，从而将评估与训练相分离。