正在整理你需要的资料…
不想给云端 API 付钱、也不想装 Python 环境,模型就全跑在本机。mlx-serve 用 Zig 后端加 Swift 桌面 App 在 Apple Silicon 上跑,OpenAI、Anthropic、Ollama 三套 API 同端口,出图、生视频、音乐、语音和 3D 都能做;内存装不下的模型直接从 SSD 流式读取专家权重,两台 Mac 用雷雳 5 线合跑一个模型。
适合有 Mac、想把大模型和图像视频生成完全放在本地的人;也能直接给 Claude Code、Codex 当后端,但 Windows 与 Linux 需走 NVIDIA 构建,目前以 macOS 为主。
下面是把仓库 README 逐节读完后归纳出的中文要点。
在 Mac 上运行开放模型:聊天、编码代理、图像、视频、音乐、语音与三维;一个原生应用加一个本地服务,同时提供 OpenAI、Anthropic 与 Ollama 接口。
应用下载后拖入应用程序目录即可,需要 Apple 芯片的 macOS 26.2 及以上,会推荐适合本机的模型并自动更新;服务默认监听 http://localhost:11234。
本地模型可驱动编码代理,按真实上下文窗口接上 Claude Code 等工具;还支持图像视频音乐语音与三维生成、语音转写与会议纪要,以及比本机内存更大的模型。
按内存给出建议模型,从 16 GB 的轻量模型到 128 GB 的大模型,256 GB 机型可把专家层放到固态硬盘读取;任意 MLX 架构与 GGUF 权重也能跑。
在 256 GB 内存机型上开启推测解码,代码提示场景下 35B 四比特版解码速度每秒 421 token,27B 四比特版每秒 243 token。
文档分几块:各编码代理与 HTTP 接口的接入方式、命令行与服务参数、Mac 应用与媒体能力说明、支持的模型清单,以及性能调优、源码构建与常见问题。
brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve
brew trust ddalcu/mlx-serve
brew install --cask mlx-serve # the app
brew install mlx-serve # or only the command-line server| 主要语言 | Zig | 许可 | NOASSERTION |
|---|---|---|---|
| 创建时间 | 2026-02-17 | 最近提交 | 2026-11-17 |
| 站内采集 | 2026-11-06 起,连续观察 13 天 | 最近一次 | 2026-11-18 |
最近 13 次采集
2026-11-06 2,388 ★ → 2026-11-18 2,489 ★ (累计 +101)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。