Vals AI 测试非文本生成模型 Jev：声称 97.5% 准确率持平 GPT-6 Astra，成本仅约 1/500

全部来源

• Vals AI 测试非文本生成模型 Jev：声称 97.5% 准确率持平 GPT-6 Astra，成本仅约 1/500

  CompleteSkeptic · 主条目

  作者援引 Vals AI 的独立测试称，TypeSafe 的 Jev 模型虽不生成文本，但在 400 道声明验证题上与其余 11 个模型对比时，达到了与 GPT-6 Astra 相同的 97.5% 准确率，而成本仅约为其 1/500。以上为 Vals AI 测试方与作者的说法，准确率与成本数据未在正文中附独立验证细节。

  查看原始帖子 ↗
  查看原文

  make intelligence cheaper -> put intelligence everywhere 🥳 Vals AI: Can a model that doesn’t generate text compete with frontier LLMs? We independently tested TypeSafe’s Jev against 11 other models. On 400 claim-verification questions, it matched GPT-6 Astra’s 97.5% accuracy at ~1/500th the cost.

前后事件

相关事件