正在整理你需要的资料…
增量榜看的是「这段时间里涨了多少 star」,不是 star 总数。 快照每天记一次,所以历史越长,窗口越准。
周榜 · 最近一周新增的 star · 数据日期 2026-11-18 · 共 4 个项目
快照历史是从 2026-11-06 开始积累的,目前只有 6 天,所以这个「周榜」实际覆盖的是最近 6 天,还不是完整的 7 天。积累够了会自动变成完整窗口。
显存装不下模型,不等于跑不了:InferSSD 让 llama.cpp 把 MoE 专家权重从 SSD 一段段流式读进来,DeepSeek-V4.1-Flash、Qwen3.6-35B-A3B 这类千亿级模型照样在本地跑起来,标准 GGUF 直接可用。加载前先核对权重、KV cache 和工作内存塞不塞得下,塞不下直接拒绝。
在 AWS Trainium 上跑自建推理,兼容接口和百万上下文自己凑。trnrt 是 Trainium 的开源推理引擎:NKI 巨型内核把 KDA 注意力、DSA 层、mHC 和 MoE FFN 融进一层,解码开销减半;前缀缓存用基数树挂在 FP8 KV 页,淘汰页落回主机内存;1M token 上下文靠稀疏注意力。
大批量做决策判断,逐条问模型太慢。Flide 是给决策模型的高速推理引擎,用精确状态分叉并行展开,答案与模型单独作答完全一致,比 vLLM 和 SGLang 快最多 9.5 倍;官方 demo 里一台 H200 用 28 秒给 10,000 封邮件各打 8 个标签。RTX 40 系与 50 系有预编译内核。
不想给云端 API 付钱、也不想装 Python 环境,模型就全跑在本机。mlx-serve 用 Zig 后端加 Swift 桌面 App 在 Apple Silicon 上跑,OpenAI、Anthropic、Ollama 三套 API 同端口,出图、生视频、音乐、语音和 3D 都能做;内存装不下的模型直接从 SSD 流式读取专家权重,两台 Mac 用雷雳 5 线合跑一个模型。
名次按窗口内新增的 star 排,同增时比 star 总数。快照逐日积累,窗口越长越准。