正在整理你需要的资料…
Interactive-Active-AI/NextTransformer ↗ · 项目主页 ↗
想比较循环深度、稀疏注意力和线性注意力到底谁强,难点不在训练而在公平 —— 数据、token 数、理论算力必须对齐。NextTransformer 在相同数据、相同 token 数、相同理论训练算力下跑这几种 Transformer 架构,开放了 31 次已完成训练、36 份模型卡和可复现排行榜,浏览器里能看每条学习曲线和 22 项 CORE 任务。
适合研究新架构的实验室与研究者,需要多卡 Linux 集群和约 600GB 数据准备;同时也允许 AI Agent 在同一套规则下自动开展架构探索。
NextTransformer
想比较循环深度、稀疏注意力和线性注意力到底谁强,难点不在训练而在公平 —— 数据、token 数、理论算力必须对齐
下面是把仓库 README 逐节读完后归纳出的中文要点。
记录近期进展:研究博客上线并复盘 Opus 找到 AttnRes-Canon 的过程;发布 4K 上下文 Dense 与 MoE 预训练扩展 RFC;项目本身开源,含 31 次训练与 36 份模型卡。
浏览器里可查看每次训练的学习曲线、可重放的排行榜、全部 22 个 CORE 任务、架构图与模型卡。
给出完整排行榜与训练重放入口,用来对比各次训练运行的表现。
在 Linux、NVIDIA 显卡与 uv 环境下安装,准备 ClimbMix 固定版本数据(约 600 GB)及分词器与 CORE 组件,再用 8 张卡单节点训练,多节点可用 2 节点乘 8 卡。
模型权重放在 Hugging Face 的 NextTransformer 组织页,Models 标签可下载;排行榜也列出尚未放权重的评测运行。
协议要点:ClimbMix 固定版本数据、一个 32,768 词元的分词器、2,048 词元上下文、49.152B 输入词元预算、种子 42,每个输入词元约 4.672 GFLOPs,评测用验证 BPB 与完整 CORE-22。
git clone https://github.com/Interactive-Active-AI/NextTransformer.git && cd NextTransformer
uv sync --frozen --extra gpu --extra upstream && source .venv/bin/activate
uv pip install --no-deps --require-hashes -r requirements/linear.txt # linear-attention kernels| 主要语言 | Python | 许可 | MIT |
|---|---|---|---|
| 创建时间 | 2026-10-31 | 最近提交 | 2026-11-17 |
| 站内采集 | 2026-11-08 起,连续观察 11 天 | 最近一次 | 2026-11-18 |
最近 8 次采集
2026-11-08 381 ★ → 2026-11-18 476 ★ (累计 +95)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。