DeepSeek进一步开放了大模型推理基础设施。继开源大模型、TileLang编译工具及一系列推理算子库后，DeepSeek宣布全面开源内部推理框架DeepInfer，并同步开源Token编解码组件deepseek-recipe，旨在帮助开发者和企业优化大规模模型部署，降低AI服务的算力成本与能源消耗。
基于DeepInfer，团队已实现DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务。目前，单一集群的服务吞吐量达到每天155万亿Token，按谷电价计算，每卡每小时收入为38美元。推理框架是连接大模型能力与终端用户的关键基础设施。随着AI应用调用量增长，推理服务的成本不仅取决于模型本身，还受到计算、通信、任务调度及缓存管理等环节的影响。如何在满足延迟要求的同时提高有效吞吐，已成为大规模AI服务降本增效的重要环节。
DeepInfer集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay及结构化输出等能力，可在英伟达与华为昇腾平台运行。未来，DeepSeek新模型的推理代码及后续性能优化也将在该框架中持续开源。面对大规模AI调用需求，DeepSeek将推理系统的优化重点放在吞吐量与延迟上。系统采用Prefill与Decode分离部署：前者负责处理输入提示词，后者负责逐步生成Token。由于两个阶段的计算负载不同，分开部署可以独立配置资源，分别优化首个Token生成时间和后续Token生成间隔。
在硬件组织上，DeepSeek使用常见的8卡机器承担Prefill任务，并采用64至128卡超节点承担Decode任务。系统通过自动扩缩容动态调整两个阶段的实例比例，减少流量变化导致的资源错配；在MoE模型推理中，则通过专家并行与动态负载均衡，降低不同计算卡之间的负载差异。