llama.cpp 支持通过 ggml RPC 后端在异构设备间分布式推理
llama.cpp 作者 ggerganov 介绍，llama.cpp 可通过 ggml RPC 后端将推理分布到异构设备上，目前属于高级设置，但作者表示随着时间推移会让普通用户更容易上手。Pedro Cuenca 称，他能在 RTX 6000 GPU 和 M5 笔记本上联合运行 MiMo 2.6 Flash，通过 10 GbE 网络达到 40 tokens/sec，且使用的是该模型原生 mxfp4 权重，该能力在 llama.cpp 中开箱即用。