IT之家4月21日消息，OpenAI的O3人工智能模型的第一方与第三方基准测试结果存在明显的差异，这引发了外界对其公司透明度和模型测试实践的质疑。

去年 12 月，OpenAI 首次发布 o3 模型时宣称，该模型能够在 FrontierMath 这一极具挑战性的数学问题集上正确回答超过四分之一的问题，这一成就远远超过了竞争对手——排名前第二的模型仅能正确回答约 2% 的 FrontierMath 问题。OpenAI 首席研究官 Mark Chen 在直播中表示：“目前市场上所有其他产品在 FrontierMath 上的成绩都不足 2%，而我们在内部测试中，使用 o3 模型在激进的测试时计算设置下，能够达到超过 25% 的正确率。”

然而，这一高分似乎是一个上限值，是通过一个计算资源更为强大的O3模型版本实现的，而并非是OpenAI上周公开发布的版本。负责FrontierMath的Epoch研究所于上周五公布了其对O3模型的独立基准测试结果，发现O3的得分仅为约10%，远低于OpenAI此前声称的最高分数。

以下是润色后的内容： OpenAI 的基准测试结果中也包含了一个与 Epoch 测试结果相符的较低分数，这并不意味着该公司故意撒谎。Epoch 指出其测试设置可能与 OpenAI 有所不同，并且其评估使用了更新版本的 FrontierMath。Epoch 在报告中写道：“我们与 OpenAI 的结果差异可能是因为 OpenAI 在内部评估时使用了更强大的计算框架、更多的测试时计算资源，或者是因为这些结果是在 FrontierMath 的不同子集上运行的（例如 2024 年 11 月 26 日版本的 180 个问题与 2025 年 2 月 28 日私有版本的 290 个问题）。”

此外，ARC Prize 基金会（一个测试了 o3 预发布版本的组织）在 X 平台上发布消息，表示公开发布的 o3 模型是一个“针对聊天和产品使用进行了调整的不同模型”，这进一步证实了Epoch的报告。ARC Prize 还指出：“所有发布的 o3 计算层级都比我们测试的版本要小”，这暗示着更大的计算层级通常可以获得更好的基准测试分数。

值得注意的是，尽管公开版本的o3未能完全达到OpenAI测试时的表现，但这在一定程度上已不再是关键问题，因为该公司后续推出的o3-mini-high和o4-mini模型在FrontierMath上的表现已经优于o3。此外，OpenAI计划在未来几周内推出更强大的o3版本o3-pro。

然而，这个事件再次提醒人们，人工智能基准测试结果需要谨慎对待，特别是当结果来自一家有产品需要销售的公司时。随着人工智能行业竞争的加剧，各供应商纷纷急于通过推出新模型来吸引眼球和市场份额，基准测试“争议”正变得越来越常见。

IT之家注意到，今年1月，Epoch因在OpenAI宣布o3之后才披露其从OpenAI获得的资金支持而受到批评。许多为FrontierMath做出贡献的学者直到公开时才知道OpenAI的参与。最近，埃隆・マス克的 xAI 被指控为其最新的人工智能模型 Grok 3 发布了误导性的基准测试图表。就在本月，Meta也承认其宣传的基准测试分数所基于的模型版本与提供给开发者的版本不一致。