正在整理你需要的资料…
runanywhereai/trnrt ↗ · 项目主页 ↗
TrnRT 是跑在 AWS Trainium 上的开源大模型推理引擎,一台 trn2.48xlarge 就能对外提供 OpenAI 兼容接口,decode 阶段走 NKI megakernel(大约每半层一个融合核),并在设备内存与主机内存之间保持前缀缓存。目前首先支持的是 GLM-5.3-Flash。仓库里有基准结果文档和 megakernel 说明。
适合手里有 AWS Trainium 实例、又不想被闭源推理引擎绑死的人;需要 Neuron SDK 2.32 与 Python 3.13 环境,且要先确认你训过或能转成受支持格式的模型。
trnrt
TrnRT 是跑在 AWS Trainium 上的开源大模型推理引擎,一台 trn2.48xlarge 就能对外提供 OpenAI 兼容接口,decode 阶段走 NKI megakernel(大约每半层一个融合核),并在设备内存与主机内存之间保持前缀缓存
| 主要语言 | Python | 许可 | Apache-2.0 |
|---|---|---|---|
| 创建时间 | 2026-10-30 | 最近提交 | 2026-11-11 |
| 站内采集 | 2026-11-13 起,连续观察 1 天 | 最近一次 | 2026-11-13 |
最近 1 次采集
这个项目刚进入观察名单,还没有足够的历史数据画曲线。
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。