正在整理你需要的资料…
大批量做决策判断,逐条问模型太慢。Flide 是给决策模型的高速推理引擎,用精确状态分叉并行展开,答案与模型单独作答完全一致,比 vLLM 和 SGLang 快最多 9.5 倍;官方 demo 里一台 H200 用 28 秒给 10,000 封邮件各打 8 个标签。RTX 40 系与 50 系有预编译内核。
适合需要大批量做结构化决策判断的团队,比如邮件打标、投研筛选和表单分类;Jev、GLiDE-9B 等模型家族陆续接进来,flide verify 能验分叉是否精确。
Flide
大批量做决策判断,逐条问模型太慢
下面是把仓库 README 逐节读完后归纳出的中文要点。
按日期记录 Flide 的版本更新:先后加入 GLiDE、Nimble-v4-max、FlexDM-LoRA-v2.1 等模型与 RTX 40、50 系列预编译内核,并发布了基于精确状态分叉的论文
Flide 运行在 Linux 或 Windows WSL2 之下的 NVIDIA GPU 上,模型表里的每个模型启动方式相同,可参考文档查看全部模型、图像、接口与选项
邮件分拣演示中,Flide 用 OneJev1.6-0.8B 在单张 H200 上为 10,000 封邮件各答八个问题共耗 28 秒,单封耗时 10.0 毫秒
列出各决策与对话模型支持的输入形态,并用表格给出相对自带引擎的加速倍数,以 Decision Index 等指标衡量,末三列是单请求延迟中位数对比
列出运行选项:--session-cache-gb 40 保留此前请求的状态、--batch-invariant 保证同一请求不受批处理影响、--quantize fp8 做量化、--frontends 2 把 HTTP 与分词渲染拆成两个进程
采用 Apache-2.0 许可;其中 flide/kernels/gdn.py 的一个内核改编自 flash-linear-attention 的两个内核(MIT),第三方声明文件列出了所依赖的其他代码
uv venv -p 3.12 && source .venv/bin/activate
uv pip install flide torchvision
flide serve --model OmniJev/OneJev1.6-0.8B| 主要语言 | Python | 许可 | Apache-2.0 |
|---|---|---|---|
| 创建时间 | 2026-10-24 | 最近提交 | 2026-11-16 |
| 站内采集 | 2026-11-11 起,连续观察 8 天 | 最近一次 | 2026-11-18 |
最近 7 次采集
2026-11-11 373 ★ → 2026-11-18 538 ★ (累计 +165)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。