OpenAI的野心似乎永无止境！
AGIHunt
最近，OpenAI 首席财务官Sarah Friar 关于GPT-5和GPT-6的爆料引起了轩然大波。
其表示，他们下一个AI模型将比GPT-4大一个数量级，未来模型也将以类似速度增长，需要大量资本投资以实现他们的「雄心壮志」。
视频揭示了两件事（暂将下两代模型记名为GPT-5 和GPT-6，虽然OpenAI 不一定按套路出牌）：
GPT-5 将比 GPT-4 大 1 OOM，因此预计GPT-5的参数规模将达到惊人的17万亿，这比GPT-4整整大了一个数量级！这将使其性能显著提高，因为粗略地说，参数越多，答案就越好。
而GPT-6更是要在此基础上再翻十倍！
因为GPT-6 将又是另一个 OOM（与 GPT-5 相比是 10 倍，与 GPT-4 相比是 100 倍）。
但与此同时，成本也成倍增加，从长远来看，这将给我们带来巨大的扩展问题。
GPT-5：参数暴增，性能飙升？
根据视频透露，GPT-5的参数规模预计将达到约17万亿。
这意味着什么？
简单来说，参数越多，模型的表现通常就越好。
Chubby♨️ (@kimmonismus) 对此评论道：
GPT-5将比GPT-4大一个数量级，预计有约17万亿参数。这将使其性能显著提升，因为粗略来说，参数越多，回答就越好。
但是，参数增加就一定意味着性能提升吗？
Beyond this journey (@beyondthisjourn) 提出了一个很好的问题：
更多的参数是否能保证模型更聪明/更智能？
虽然参数增加通常会带来性能提升，但这种关系并非绝对。模型的智能还取决于训练数据质量、算法设计等多个因素。
GPT-6：野心更大，挑战更多
如果说GPT-5已经让人瞠目结舌，那GPT-6的计划简直是要上天。如视频中提到，GPT-6的参数规模将是GPT-5的10倍，也就是GPT-4的100倍，即170万亿参数！
这太疯狂了！
我不禁想问：我们真的需要这么大的模型吗？
leeloo dallas (@ps5_expert_play) 表达了一个有趣的观点：
我们不需要GPT-6。它是个锦上添花的存在，因为它会比5更好。但5o加上可变推理计算就能让我们达到后稀缺时代的生产力水平。（机器人和博士级代理）
这是说：够用就行，别玩太大的？
只是，这是不是有点保守了。
扩张背后的隐忧
然而，牛不是光吹就行。OpenAI的野心背后也隐藏着巨大的成本挑战。Chubby♨️ (@kimmonismus) 指出：
同时，成本却呈指数级增长，这将在长期给我们带来重大的扩展问题。
成本问题无疑是制约AI发展的一大瓶颈。
随着模型规模的扩大，训练和运行成本也会飙升。这可能会导致AI技术的发展速度放缓，甚至出现停滞。
不过，morgan — (@morqon) 提供了一些积极的看法：
幸运的是，扩展推理的成本要便宜得多。
这是在说虽然预训练阶段的扩展成本高，但o1 的推理阶段扩展的打法，成本要远低于预训练阶段的扩展。
照这个思路，推理扩展 + 更大的参数量，这或许还真是个可能的研究方向！
GPT-5和GPT-6的参数规模扩张计划展示了OpenAI的雄心，但同时也带来了诸多挑战和思考。
期望这不是为了搞钱融资而口嗨，也不仅仅是数字上的胜利，而是能为人类带来真正的价值。
Hensen Juang (@basedjensen) 则意味深长地指出：
AI离不开它的戏剧性。
这……是在讽刺吗？
你怎么看👀
暂无评论内容