正在整理你需要的资料…
DeepInfer 是 DeepSeek 生产服务在用的那个高性能推理框架,这次直接开源:MoE 专家并行、批不变推理、确定性采样、结构化输出全在内核里,目前支持 DeepSeek-V4.1-Flash。环境要求 Linux GCC 13.0 以上、Python 3.12、CUDA 13。
适合想在自有集群上部署 DeepSeek-V4.1-Flash 做离线推理,或需要批不变与确定性采样来保证结果可复现的工程团队 —— 只支持 NVIDIA 与 Ascend 两类硬件。

下面是把仓库 README 逐节读完后归纳出的中文要点。
DeepInfer 是支撑 DeepSeek 大规模生产服务的高性能推理框架,本次开源提供离线推理与规模化服务所需的核心能力,目前支持 DeepSeek-V4.1-Flash
编译时用环境变量指定加速器,再运行离线推理示例脚本做验证,文末还给出引用这条项目所需的 bibtex 条目
| 主要语言 | Python | 许可 | Apache-2.0 |
|---|---|---|---|
| 创建时间 | 2026-10-16 | 最近提交 | 2026-11-03 |
| 站内采集 | 2026-11-06 起,连续观察 9 天 | 最近一次 | 2026-11-14 |
DeepSeek 生产服务所用的高性能推理框架开源:MoE 专家并行、批不变推理、确定性采样与结构化输出都在内核里。
DeepInfer 是支撑 DeepSeek 大规模生产服务的推理框架,本次开源给的是离线推理所需的核心能力,当前支持 DeepSeek-V4.1-Flash 一款模型。底层是自研与社区算子的组合:FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及自定义 TileLang 算子;并行策略覆盖注意力数据并行与平衡上下文并行,以及 MoE 的专家并行与 EPLB 负载均衡。解码侧有 DSpark 与置信度调度验证,用草稿词加速并按置信度安排验证时机;调度侧用 SWA 有界回放只重算有限后缀,批调度与设备执行重叠做到零开销调度。更实用的两个开关是批不变推理与确定性采样:开启后模型在任意批次组合下输出保持一致,配合固定随机种子可得到完全相同的采样结果,另有正则、JSON schema 与 EBNF 三种结构化输出约束。代价写在硬件要求里:只支持 NVIDIA SM100 与华为昇腾 950,需要 Linux、GCC 13 以上、Python 3.12 与 CUDA 13 或 CANN 9.2,KV cache 系统、预填充与解码分离、跨副本负载均衡这次并未包含。
最近 9 次采集
2026-11-06 25,519 ★ → 2026-11-14 25,970 ★ (累计 +451)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。