← 返回快讯

快讯事件 · 1 条来源

作者称 OpenAI Decisions API 在其招聘私有基准上比 Jev 贵 2 倍、效果差 5-10%

CompleteSkeptic

Hamed Nilforoshan 发帖称,他在招聘平台 HiringCafe.com(服务 250 万用户)的私有基准上测试了 OpenAI Decisions API 与 Jev:任务是在 1-10 分制下预测用户查询/简历与职位描述的相关性。作者表示,在该测试中 OpenAI 方案成本高 2 倍,效果差 5-10%。以上均为作者自述结果,未经独立核实。

全部来源

前后事件

相关事件

Vals AI 测试非文本生成模型 Jev:声称 97.5% 准确率持平 GPT-6 Astra,成本仅约 1/500

作者援引 Vals AI 的独立测试称,TypeSafe 的 Jev 模型虽不生成文本,但在 400 道声明验证题上与其余 11 个模型对比时,达到了与 GPT-6 Astra 相同的 97.5% 准确率,而成本仅约为其 1/500。以上为 Vals AI 测试方与作者的说法,准确率与成本数据未在正文中附独立验证细节。

CompleteSkeptic共 1 条来源