正在整理你需要的资料…
RunanywhereAI/trnrt ↗ · 项目主页 ↗
在 AWS Trainium 上跑自建推理,兼容接口和百万上下文自己凑。trnrt 是 Trainium 的开源推理引擎:NKI 巨型内核把 KDA 注意力、DSA 层、mHC 和 MoE FFN 融进一层,解码开销减半;前缀缓存用基数树挂在 FP8 KV 页,淘汰页落回主机内存;1M token 上下文靠稀疏注意力。
适合已买 Trainium 实例、想压低自建模型服务成本、又需要百万级上下文能力的团队;首个支持的模型是 GLM-5.3-Flash,编译图要离线完成。
trnrt
在 AWS Trainium 上跑自建推理,兼容接口和百万上下文自己凑
下面是把仓库 README 逐节读完后归纳出的中文要点。
表格列出五项特性:NKI 融合内核每层一个、其中一半用于解码,1M 上下文用稀疏注意力与线性注意力,前缀缓存是 FP8 KV 页上的基数树,单机双引擎经会话亲和路由,对外提供 OpenAI 兼容接口,图在 CPU 主机上离线编译
需要 Docker、一台 trn2.48xlarge 做服务,以及任意 x86_64 主机做编译;先构建镜像,再在编译主机上构建编译缓存(要花几小时),最后把缓存拷到服务机启动
目前支持 AWS Trainium2 的 trn2.48xlarge(16 颗芯片、2 个引擎按 TP 32 切、LNC 2)与 GLM-5.3-Flash(320B MoE、18B 激活、FP8、1M 上下文),更多开放模型即将支持
用 SemiAnalysis AgentX 回放真实编码智能体会话:一台 trn2.48xlarge 在 1M 上下文下跑 32 个并发智能体、每点测一小时,解码批量 12 时每分钟 28.9 个请求、每用户 22.3 token 每秒,缓存命中后首字 6.53 秒,每百万 token 0.040 美元
这里的解码不受显存带宽限制,主要由小指令、内核边界与暴露的集合通信决定,所以每个解码融合内核守三条规则:工作集留在 SBUF、对称使用两个物理核、把集合通信搬进内核内部
各组件按目录分开摆放,架构细节写在 docs/ARCHITECTURE.md 里
trnrt/
├── __main__.py CLI: serve, engine, compile
├── serve/ OpenAI API, session-affine router, output parsers
├── engine/ scheduler, prefix caches, tensor parallelism
├── models/ GLM-5.3-Flash: KDA, DSA, mHC, MoE, FP8 loading
├── kernels/ NKI decode megakernels and prefill kernels
└── compile/ offline compile: shapes, capture, neuronx-cc, strip
docker/ the serving and compile image
tools/ graph-equivalence gate, device checks, doc checks
tests/ CPU test suite (no NeuronCore needed)
docs/ guides, results, kernel notes| 主要语言 | Python | 许可 | Apache-2.0 |
|---|---|---|---|
| 创建时间 | 2026-10-30 | 最近提交 | 2026-11-11 |
| 站内采集 | 2026-11-11 起,连续观察 8 天 | 最近一次 | 2026-11-18 |
最近 8 次采集
2026-11-11 1,017 ★ → 2026-11-18 1,613 ★ (累计 +596)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。