Quentin Gallouédec发布TRL v1.15：融合LM head默认开启，峰值显存最高降低82%
Quentin Gallouédec发布TRL v1.15，称其为迄今最大的优化。新版本默认启用融合LM head，峰值显存最高降低82%，序列长度提升至7倍；DPO从10k增至59k tokens，GRPO从29k增至115k tokens。
共 1 个事件 · 门户最近更新
共 1 个事件 · 门户最近更新
Quentin Gallouédec发布TRL v1.15，称其为迄今最大的优化。新版本默认启用融合LM head，峰值显存最高降低82%，序列长度提升至7倍；DPO从10k增至59k tokens，GRPO从29k增至115k tokens。