开源项目CodexRadar的发起人Lambda,自GPT-6 Astra发布以来,每天都会收到海量鹈鹕踩单车的视频,数量高达上万条,常有人询问这只鹈鹕是否“降智”。为此,他索性在社区组织了一场名为“鹈鹕杯”的比赛。
参赛者需根据“画一只骑自行车的鹈鹕”这一任务,利用模型生成作品,并将结果分享到社区。
“深夜上线,没做推广就收到了近一百份投稿。9月14日上午,比赛页面的访问量已突破7000。”Lambda对大家参与“鹈鹕测试”的积极性感到意外。
每当新模型上线,总会有人用鹈鹕骑自行车的任务来检验模型性能。
一方面,这项任务简单且直观。模型的许多复杂能力难以用一句话快速评估,但鹈鹕骑自行车却能让人一眼看出其稳定性,例如腿与踏板的配合、车轮的转动、动作是否连贯,以及前后生成的一致性。
另一方面,这项任务又足够复杂。它看似只是一句简单的提示词,背后却涉及动作理解、时序连贯性、空间关系、代码组织及连续执行能力。对于一个已进入Agent阶段的模型而言,这类任务非常适合作为“体感温度计”。
GPT-6 Astra上线后,这只鹈鹕“更受欢迎了”,原因在于这个最先进的模型“智商”波动较大,而这种波动会直接影响工作成果。
鹈鹕恰好能将这种难以量化的体感变得直观易懂。
“鹈鹕杯”比赛分为两个赛道。Classic赛道使用统一提示词“创建一个HTML,内容是SVG绘制一个鹈鹕骑自行车的2D动画”。在模型状态正常时,GPT-6 Astra生成的鹈鹕通常能保持相对一致的质量和画面结构。
图:@Lauren Pan发布的鹈鹕图,显示GPT-6 Astra在不同推理强度下,若智商稳定,鹈鹕的出图基本保持一致
如果某天大量用户发现,在相同提示词下,鹈鹕频繁出现踩空、车轮关系错乱、结构明显偏离等问题,那么关于“降智”的讨论便会迅速升温。
这种方法当然不能算作严格的科学基准。一道公开且高频重复的题目,存在被模型逐渐熟悉的可能。但它非常适合观察短期内的体感变化。用户无需理解复杂指标,只需看几只鹈鹕就能发现差异。
“鹈鹕杯”作品截图,标注“降智的”作品,可见鹈鹕“明显不对”
Open赛道不设统一提示词,参与者可自由发挥。它更像是在测试Astra能将一个开放任务做到何种程度。
其中一个作品最终变成了一部长达30分钟的“一镜到底”骑行故事。
30分钟的“一镜到底”,为方便观看,视频经过8倍速处理
整部作品共享一条1800秒时间轴和同一位骑手。地面、山川、城市、星球、车轮、羽毛和粒子均由SVG元素组成,JavaScript仅负责计算位置、关节和时间。整个项目未使用Canvas、图片、视频、外部字体或额外的大模型接口。
镜头可连续平移、拉远和拉近,所有场景都存在于同一个矢量世界中。为控制性能,屏幕之外的区域暂停绘制;用户拖动进度条后,所有物件会直接恢复到对应时间点,无需重新随机生成。
甚至连骑车这个最容易穿帮的动作也被单独处理:车轮转动和脚蹬相位由行驶距离驱动,因此人物停下后,不会出现自行车已停、脚还在空蹬的情况。
作品前20分钟穿越30个城市和自然景点,其中深圳一章依次出现腾讯企鹅岛、深信服大厦和人才公园;后10分钟进入宇宙,从火星一路经过太阳、冥王星、黑洞,再返回地球。
作者还专门在作品中注明哪些内容源于现实,哪些属于虚构。例如太空骑车、储存阳光的小灯、冥王星雪人,以及穿越黑洞回家,都只是故事设定;黑洞视界也未被包装成真实可穿越的隧道。
这个作品显示出GPT-6 Astra的能力确实令人惊叹。
模型需先理解一个开放目标,再完成页面架构、动画逻辑、时间系统、人物运动、镜头调度、场景设计、性能优化和说明文档,并确保这些部分在长达30分钟的作品中持续保持一致。
CodexRadar开源项目的发起人最初只是想解决自己的问题:模型今天是否变笨,是否影响工作质量;监测额度重置后,如何高效用足Token额度。后来,他将监测工具做成社区开源项目,没想到迅速吸引了一批重度Codex用户共同参与众测。
CodexRadar的“众测雷达”设置了112道真实开源编程题,由用户自行运行,结果上传后由服务器在干净环境中重新验证。官网显示,参与志愿者已超过500人,累计贡献达百亿级Token。
一个最初用于自我监测“模型智商”的小工具,能吸引这么多人持续贡献额度,完全是因为模型能力波动正成为重度用户的共同痛点。
Astra上线后,这种波动对工作的影响更为显著。
一位大模型算法工程师表示,降智会直接影响自动化任务。“GPT-6降智加限流,自动化任务会积累,最终导致并发冲突。工单会话若降智,错误还可能通过中枢传播到其他地方,最终损坏整个仓库。”
进入Agent阶段后,一次模型调用往往只是整个任务链的一环。如果其中某一步判断出现明显偏差,后续步骤可能继续沿着错误结果推进。任务越长,这种风险越明显。
因此,当模型真正进入生产流程后,用户关注的已不仅是平均能力,能力是否存在波动同样重要。
“Astra全面得强,尤其是computer use和多agent协同管理。从雷达数据看,Astra解题所需步骤比前代模型少了一半,步骤越少模型越强,Astra有质变。”
OpenAI在发布Astra时,将Computer Use、专业工作、软件工程和长程Agent任务置于重要位置。多位大模型领域开发者表示,“Astra是有代差的强”。
也正是因为这种强大,用户希望将过去更复杂、更长程的自动化任务交给它,因此“降智”对工作实际效果的影响会更大。
“降智”其实是一个社区化的说法。从用户角度看,只要同一个模型名、同一个产品入口,今天明显比昨天难用,就会被概括为“降智”。
但从工程角度看,用户最终看到的结果由许多层共同决定。
底层模型是一层,推理强度是一层,上下文管理是一层,Harness、Skills、工具调用、模型路由、并发调度和服务容量都会影响最终效果。
因此,用户感受到的“变笨”,不一定意味着模型权重本身发生了变化。
例如,一个Coding Agent原本会主动运行三轮测试,现在只跑一轮;原本会调用多个子Agent检查结果,现在减少了并行探索;原本能保留更完整的上下文,现在长任务中丢失了一些早期信息。对后台而言,这些可能对应完全不同的问题,但对用户而言,最终的体感都是:怎么感觉没以前聪明了。
这也是CodexRadar出现的原因。
发布时的模型基准分数能看出模型的峰值能力有多高,却很难看出模型的实时状态,例如今天上午10点调用的Astra,究竟处于什么状态。
但对于用Agent真正工作的人来说,这种实时状态至关重要。
目前没有公开证据表明,OpenAI在大规模主动将Astra替换成更弱的底模。
但Astra上线后的供给压力已有明确信号。9月10日,OpenAI暂停了每月200美元的Pro 20x套餐新订阅和升级。现有用户暂时不受影响。该套餐提供约为Plus 20倍的使用额度,是重度Codex用户的重要选择。
Astra本身又是一款昂贵的模型。
其API标准价格为每百万输入Token 10美元、输出Token 50美元;Fast mode可提供更高速度,价格还会翻倍。
问题在于,Astra最受欢迎的能力恰好非常“烧算力”。
Computer Use需要持续理解屏幕、执行操作、观察结果,再决定下一步;多Agent工作流还可能同时启动多个子任务;Coding Agent一次完整任务,会不断读取文件、执行代码、运行测试、回看结果。
当大量重度用户同时开始这样使用模型,供给压力与过去已完全不是一个量级。
因此,这轮“降智”讨论背后,实际上混合了模型质量波动、限流、资源调度,以及长任务本身对系统稳定性的放大。
社区有人认为,最近的问题与Astra需求过强、Pro 20x用户大量涌入和算力供给紧张有关。但OpenAI暂停20x新增订阅,至少证明了,这个前沿模型出现了很真实的供需矛盾。
过去大模型竞争更多集中在谁能训练出更强的模型。现在,训练出来之后能否稳定地将这份智能供应给大量用户,也开始成为竞争的一部分。
一只鹈鹕成为Agent时代的明星,表明用户正在主动监控“智能”本身。模型在不同时间段的任务成功率、长任务稳定性,以及同一个workflow能否持续复现。这可以理解成一种新的“智力SLA”。
SLA原本是Service Level Agreement,服务等级协议。云服务中通常约定可用率、延迟、故障恢复时间等指标,例如99.99% uptime。
模型越强,这个问题反而会越突出。未来模型公司的竞争,也会从峰值能力进一步延伸到另一层:将高水平智能长期、稳定、规模化地供应出去。
模型能否每天都保持同样聪明,也成为了AI Agent真正走向工作场景的一个卡点。如果您想了解更多关于智能体性能监测的最新动态,可以关注悦盈体育网址获取前沿资讯。
本文来自微信公众号“腾讯科技”,作者:值得关注的,36氪经授权发布。
评论
悦盈体育网址专注多终端无缝适配,网页版入口一键直达,为用户提供专业可靠的体验。
2026年8月28日围绕登录入口采用多重加密技术,保障账户安全,悦盈体育网址持续打磨更优质的服务。
悦盈体育网址深耕界面简洁流畅,操作零门槛,适合各类用户领域,用心服务每一位用户。
2026年8月28日在7×13小时在线客服,及时响应每个需求方面,悦盈体育网址提供贴心周到的支持。
悦盈体育网址以悦盈体育网址为核心,带来高效便捷的体验。
2026年8月28日在悦盈在线方面,悦盈体育网址提供贴心周到的支持。