← 返回快讯

快讯事件 · 1 条来源

作者称可在 RTX 6000 与 M5 笔记本异构硬件上经 10 GbE 以 40 tokens/sec 运行 MiMo 2.6 Flash

LysandreJik

Pedro Cuenca 转发帖称，他能通过 10 GbE 网络在 RTX 6000 GPU 与 M5 笔记本组成的异构硬件上以约 40 tokens/sec 运行 MiMo 2.6 Flash，使用的是该模型的原生 mxfp4 权重，并称 llama.cpp 开箱即支持此方案。上述性能数字与硬件组合均为作者个人声称，未获独立核实。

llama.cpp本地推理异构计算mxfp4MiMo

全部来源

  • 作者称可在 RTX 6000 与 M5 笔记本异构硬件上经 10 GbE 以 40 tokens/sec 运行 MiMo 2.6 Flash

    LysandreJik · 主条目

    Pedro Cuenca 转发帖称，他能通过 10 GbE 网络在 RTX 6000 GPU 与 M5 笔记本组成的异构硬件上以约 40 tokens/sec 运行 MiMo 2.6 Flash，使用的是该模型的原生 mxfp4 权重，并称 llama.cpp 开箱即支持此方案。上述性能数字与硬件组合均为作者个人声称，未获独立核实。

    查看原始帖子 ↗
    查看原文
    RT Pedro Cuenca It's crazy that I can run MiMo 2.6 Flash across my RTX 6000 GPU and my M5 laptop at 40 tokens/sec over 10 GbE 🤯 These are the native mxfp4 weights of a state-of-the-art model, on heterogeneous hardware. Supported out of the box in llama.cpp.

前后事件

上一篇：MiMo 2.6 Flash 实测：跨 RTX 6000 与 M5 笔记本异构运行，40 tokens/sec下一篇：LangChain 提醒：Harrison Chase 的 Interrupt London 主题演讲将于 10 月 13 日直播

相关事件

EmbeddingGemma 2 发布：740M 参数多模态嵌入模型，可在浏览器本地运行

作者转发 Xenova 的推文称，EmbeddingGemma 2 已在 Hugging Face 发布，可将文本、图像、视频和音频映射到统一的嵌入空间。据介绍，该模型仅有 740M 参数，可通过 Transformers.js 在浏览器中基于 WebGPU 完全本地运行。以上为作者/团队声称，未经独立核实。

LysandreJik共 1 条来源

EmbeddingGemmaGoogleHugging Face多模态嵌入Transformers.jsWebGPU