正在整理你需要的资料…
想在自家机器上跑完整版大模型,官方权重动辄几百 GB,普通电脑根本放不下。PROMETHEVS 用先压缩后校正的思路,让 64 GB 内存加 12 GB 显卡的电脑跑起完整的 510 GB DeepSeek-V4.1-Flash 权重,并附带 OpenAI 兼容的本地接口。
适合想在本机跑原版大模型、又不愿用蒸馏小模型替代的开发者;速度只有个位数 token 每秒,需要按官方哈希自建权重存储。
Promethevs
想在自家机器上跑完整版大模型,官方权重动辄几百 GB,普通电脑根本放不下
下面是把仓库 README 逐节读完后归纳出的中文要点。
运行门槛较高:需要支持 AVX2 的 64 位处理器、64 GB 内存、一张 12 GB 显卡,以及约 1.1 TB 的空闲磁盘空间。
下载 PROMETHEVS_0.2.zip 解压后在 PowerShell 里执行脚本,再把任意兼容的应用指向本地接口地址,密钥填任意非空值即可。
在构建机上实测,代码提示冷启动约 5.8 tokens/s、热启动 7.4 tokens/s,推理与 agent 提示略低,结果与精确解码仍有差距。
引擎同时做四件事:用 2-bit 副本生成每个词,按模型置信度挑出错词,再用校正平面把被标记的词精确修正。
构建机为 Windows 11 桌面机,配 64 GB 内存、12 GB 显卡与两块 NVMe 硬盘,存储合计约 1,009 GiB,每块盘占用都控制在九成满以下,磁盘是复现的最大障碍。
上述数字都来自一台机器,自行运行 0.2 版时可提交验证脚本输出与引擎日志作为基准报告,报告会陆续补上。
| 主要语言 | 未标注 | 许可 | CC-BY-4.0 |
|---|---|---|---|
| 创建时间 | 2026-10-21 | 最近提交 | 2026-11-09 |
| 站内采集 | 2026-11-08 起,连续观察 11 天 | 最近一次 | 2026-11-18 |
最近 11 次采集
2026-11-08 151 ★ → 2026-11-18 192 ★ (累计 +41)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。