正在整理你需要的资料…
显存装不下模型,不等于跑不了:InferSSD 让 llama.cpp 把 MoE 专家权重从 SSD 一段段流式读进来,DeepSeek-V4.1-Flash、Qwen3.6-35B-A3B 这类千亿级模型照样在本地跑起来,标准 GGUF 直接可用。加载前先核对权重、KV cache 和工作内存塞不塞得下,塞不下直接拒绝。
适合手头只有一台小机器,却想本地跑 DeepSeek-V4.1-Flash 这类 MoE 模型的人;接口默认不鉴权,开放到局域网前得自己加限制。
inferssd
显存装不下模型,不等于跑不了:InferSSD 让 llama.cpp 把 MoE 专家权重从 SSD 一段段流式读进来,DeepSeek-V4.1-Flash、Qwen3.6-35B-A3B 这类千亿级模型照样在本地跑起来,标准 GGUF 直接可用
下面是把仓库 README 逐节读完后归纳出的中文要点。
列出经测试的 GGUF 权重:DeepSeek-V4.1-Flash-1017 为 763B 总参数、8–16B 激活,Muse-Spark-Open 为 816B 总参数、42B 激活,另有 Qwen3.6-35B-A3B 等。
给出性能基准:统一用 4K 提示、256 输出 token 并按第 129–256 个 token 测解码,在 RTX 5090 上预填充达 39.210 token/s,快于 llama.cpp。
说明安装与启动:在 Apple Silicon macOS 或带 NVIDIA GPU 的 Linux 上安装;发行版自带 macOS 15 与 Windows 11 x64 预编译包,Linux 需源码编译约 2 到 12 分钟。
解释版本号机制:发行号写在框架配置里,每个构建另有标签记录构建日期、分支提交数与提交哈希,安装器会把这三项写进构建目录旁的资源文件。
给出两篇延伸阅读的入口:一篇讲工作原理,另一篇讲基准测试方法。
欢迎贡献,包括提交硬件实测结果,以及改进专家输入输出、缓存与批处理方面的实现。
curl -fsSL https://github.com/wici-ai/inferssd/releases/latest/download/install.sh | sh| 主要语言 | C++ | 许可 | Apache-2.0 |
|---|---|---|---|
| 创建时间 | 2026-10-22 | 最近提交 | 2026-11-17 |
| 站内采集 | 2026-11-09 起,连续观察 10 天 | 最近一次 | 2026-11-18 |
最近 10 次采集
2026-11-09 363 ★ → 2026-11-18 1,221 ★ (累计 +858)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。