快讯
llama.cpp 支持通过 ggml RPC 后端在异构设备间分布式推理
llama.cpp 作者 ggerganov 介绍，llama.cpp 可通过 ggml RPC 后端将推理分布到异构设备上，目前属于高级设置，但作者表示随着时间推移会让普通用户更容易上手。Pedro Cuenca 称，他能在 RTX 6000 GPU 和 M5 笔记本上联合运行 MiMo 2.6 Flash，通过 10 GbE 网络达到 40 tokens/sec，且使用的是该模型原生 mxfp4 权重，该能力在 llama.cpp 中开箱即用。
查看原文
llama.cpp can distribute inference on heterogeneous devices through the ggml RPC backend It's an advanced setting but I think with time we'll make it more accessible to regular users. Pedro Cuenca: It's crazy that I can run MiMo 2.6 Flash across my RTX 6000 GPU and my M5 laptop at 40 tokens/sec over 10 GbE 🤯 These are the native mxfp4 weights of a state-of-the-art model, on heterogeneous hardware. Supported out of the box in llama.cpp.