正在整理你需要的资料…
本地跑大模型,显存就是那道墙。MACaQ 是华为诺亚方舟实验室的模型无关量化框架,把文本、图像、视频、音频模型量化成 GGUF:Diffusers 走 W4A4,llama.cpp 出 2/3/4-bit GGUF,vLLM 做文本生成与服务,PyTorch 负责语音;每个后端要单独建 Python 3.12 环境。官方称量化 122B 模型约需 64 分钟、32.5GB 显存。
适合要在本地跑大模型、又不想手工调量化参数的研究者与工程团队。每个后端得单独建一套环境,精度结论目前也只来自论文与作者自测。

下面是把仓库 README 逐节读完后归纳出的中文要点。
按需求选 Diffusers、llama.cpp、vLLM 或 PyTorch 做图像、视频、音频与文本生成;建议用 Python 3.12 并为每个后端单独建环境
把扩散模型量化后存成 safetensors 权重,再生成图像、视频或音频,图生视频在校准阶段要用条件图
把文本模型量化成 2 位、3 位、4 位的 GGUF,用自带运行时生成,并给出多个 Qwen3 系列的量化配方
把文本模型量化成紧凑权重后加载生成,或通过 HTTP API 提供服务,默认推理模式是 W4A4
把语音生成模型量化到 W4A4,保存紧凑权重后生成 WAV 音频,再次加载时不必重复校准
W4A4 的稠密与分组矩阵乘内核已见于两个 CANN 合并请求,需配套的 CANN、PyTorch 与 torch_npu 版本,整机运行还得接 Ascend 推理运行时
| 主要语言 | C++ | 许可 | Apache-2.0 |
|---|---|---|---|
| 创建时间 | 2026-11-10 | 最近提交 | 2026-11-17 |
| 站内采集 | 2026-11-12 起,连续观察 7 天 | 最近一次 | 2026-11-18 |
华为诺亚方舟实验室的模型无关量化框架:一份工具同时量化文本、图像、视频和音频模型,产出 GGUF。
这是华为诺亚方舟实验室放出的校准量化方案,论文在 arXiv 2611.10649。它的定位是模型无关:同一套方法可以作用在文本、图像、视频和音频模型上,后端覆盖 Diffusers(图像视频音频的 W4A4)、llama.cpp(2、3、4 位 GGUF)、vLLM(文本生成与服务,W4A4 或纯权重量化)、PyTorch(语音生成),另外还专门适配了昇腾。README 给出的性能主张是:量化一个 1220 亿参数的模型只需 64 分钟,设备内存占用 32.5GB;困惑度可以低于 MR-GPTQ 和 DuQuant++,或者用少 11 倍的量化时间达到它们在 Llama-3-8B 上的最佳困惑度。仓库里还提供了一个 MACaQ-R 变体,用来在保持原生量化格式的前提下精修 GGUF 的权重码本,可以直接配标准 llama.cpp 用。README 明确列了已经跑通的模型清单,包括 FLUX.2-klein-4B 图像生成、Wan2.2-TI2V-5B 图生视频、stable-audio-1.0 音频生成,以及 Qwen3 系列多个稠密、混合与 MoE 型号。
最近 7 次采集
2026-11-12 92 ★ → 2026-11-18 356 ★ (累计 +264)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。