公开变私有:底座模型的定义正在悄悄改变

January 26, 2025

在 2024 年 10 月,Anthropic 发布了 Sonnet 3.5 的版本,但至今作为 Claude 家族最强大的模型 Opus 还没有对外更新到 3.5 版本。

在 11 到 12 月,不同的多个信源透露出,Anthropic 并没有放弃或中断 Opus 3.5 的训练,而是考虑到其成本,已经在内部被用来构造合成数据,并通过用户数据作为奖励模型,提升 Sonnet 的效果。

因此持续发布更大的、推理成本更贵的 Opus 模型似乎没有意义,如果能够保持 Sonnet 的成本并持续提升 Sonnet 的效果,那么没有必要将 Opus 开放出来。

除此之外将 Opus 3.5 保护起来,还能防止快速被竞争对手超越。今天基本全部的玩家都会蒸馏头部模型,在强大的闭源底座模型更新后,开源社区能通过蒸馏的方式快速追赶上,成本还更低。

有理由相信,OpenAI 内部已经在使用 GPT-5,用来蒸馏出公开的 o1/o3。底座模型的定义正在悄悄改变,用户使用的将是一个更便宜、参数量更少、推理速度更快的产品。


Profile picture

Written by Armin Li , a venture capitalist. [Mail] [RSS]