快讯
作者称 OpenAI Decisions API 在其招聘私有基准上比 Jev 贵 2 倍、效果差 5-10%
Hamed Nilforoshan 发帖称，他在招聘平台 HiringCafe.com（服务 250 万用户）的私有基准上测试了 OpenAI Decisions API 与 Jev：任务是在 1-10 分制下预测用户查询/简历与职位描述的相关性。作者表示，在该测试中 OpenAI 方案成本高 2 倍，效果差 5-10%。以上均为作者自述结果，未经独立核实。
事件来源
查看原文
yay to domain specific private benchmarks! Hamed Nilforoshan: I benchmarked "Jev-killer" OpenAI Decisions API against Jev for https://HiringCafe.com, serving 2.5 million users. The task is to predict how relevant a user query/resume is to a job description, on a scale of 1-10. OpenAI is 2x more expensive and 5-10% worse. 🧵