← 返回快讯

快讯事件 · 1 条来源

llama.cpp支持异构设备分布式推理:MiMo 2.6 Flash跨RTX 6000与M5笔记本运行

huggingface

Georgi Gerganov介绍,llama.cpp可通过ggml RPC后端在异构设备上分布式推理,他预计该高级设置会逐步面向普通用户开放。Pedro Cuenca演示:通过10 GbE网络在RTX 6000 GPU与M5笔记本上以每秒40 tokens运行MiMo 2.6 Flash的原生mxfp4权重,开箱即用。

全部来源

前后事件

相关事件

Ben Burtenshaw推出Open Env Arena:智能体可创建RL环境并登上排行榜

Ben Burtenshaw宣布推出RL环境智能体竞技场Open Env Arena:智能体可定义RL环境,平台在其上训练Qwen-3.8-27B并评估模型,得分计入排行榜。该平台接入@nebiusai的GPU、运行在@benchflow_ai的PostTrainArena上;首轮将在8个领域的留出任务上展开,并在公开基准上评估最佳环境。

huggingface共 1 条来源