共 3 条快讯 · 门户最近更新
llama.cpp 作者 ggerganov 介绍，llama.cpp 可通过 ggml RPC 后端将推理分布到异构设备上，目前属于高级设置，但作者表示随着时间推移会让普通用户更容易上手。Pedro Cuenca 称，他能在 RTX 6000 GPU 和 M5 笔记本上联合运行 MiMo 2.6 Flash，通过 10 GbE 网络达到 40 tokens/sec，且使用的是该模型原生 mxfp4 权重，该能力在 llama.cpp 中开箱即用。
作者 Pedro Cuenca 发文称，他可以在 RTX 6000 GPU 和 M5 笔记本电脑之间跨异构硬件运行 MiMo 2.6 Flash，速度达 40 tokens/sec，通过 10 GbE 连接。他称使用的是该模型的原生 mxfp4 权重，并已被 llama.cpp 开箱支持。以上为作者自述的实测结果，未经独立核实。
Pedro Cuenca 转发帖称，他能通过 10 GbE 网络在 RTX 6000 GPU 与 M5 笔记本组成的异构硬件上以约 40 tokens/sec 运行 MiMo 2.6 Flash，使用的是该模型的原生 mxfp4 权重，并称 llama.cpp 开箱即支持此方案。上述性能数字与硬件组合均为作者个人声称，未获独立核实。