作者|冬梅 又一款没有公开开发者身份的模型,出现在编程工具和评测榜单上。 1 神秘模型 Pixel Canary 发布:免费、追平 GPT-6 Astra 近日,Cline 在 x 上宣布,匿名模型 Pixel Canary 已在其平台免费开放。引发讨论的是它在 Next.js Agent Evals 中的成绩:常规设置下完成 31 项任务中的 28 项,成功率为 90.3%,与 GPT-6 Astra(高推理强度)持平,高于 Kimi K3 的 84%。 但这份成绩单还有另一面:榜单显示,Pixel Canary 完成任务的平均耗时为 1015.80 秒,约 16 分 56 秒;同一榜单上,GPT-6 Astra 为 251.89 秒,Kimi K3 为 352.34 秒。 把成功率和耗时放在一起看,Pixel Canary 展示出了完成复杂任务的能力,却还没有证明自己适合快节奏的日常开发。 那这 90% 的成绩,究竟意味着啥? Pixel Canary 最早于 9 月 25 日登陆 Vercel AI Gateway,模型标识为 stealth/pixel-canary 。Vercel 将其定位于应用构建、现有代码重构、前端开发和移动应用设计,并表示匿名开放期间限时免费。平台公开的模型信息显示,它支持约 26.2 万 Token 的上下文窗口及可调节的推理强度,但没有披露开发团队。 Vercel 的 Next.js Agent Evals 考查的是智能体完成实际 Next.js 开发任务的情况,涉及 App Router 迁移、数据获取、图片与字体优化、缓存及页面过渡等。Pixel Canary 的 90.3% 指的是 31 项任务中有 28 项通过。评测采用 pass@4:每项任务最多尝试四次,只要有一次成功,就算该任务通过。 所以值得注意的是,90% 这个数字也不能直接理解成开发者交给它十个任务,它首次尝试就能完成九个。 当评测通过 AGENTS.md 向智能体提供 Next.js 文档后,Pixel Canary 又完成了 30 项任务,成功率升至 96.8%。不过,这一设置下 Kimi K3、GPT-6 Astra 等模型也同样达到约 97%。这说明任务相关文档能够显著改变结果,也提醒开发者:真实项目中的代码规范、框架版本和项目说明,可能和模型选择一样重要。 但值得注意的是,免费试用背后,还有一项需要看清的条件。 Vercel 在发布说明中明确写道,Pixel Canary 不提供零数据保留(ZDR),发送给模型的提示词和回复可能被用于训练及模型改进。其模型页面也提示,提供方可能保留输入与输出。 对于把代码仓库接入智能体的开发者,这项条件比“免费”两个字更值得先看一眼:代码、配置文件或项目上下文,都可能随任务进入模型请求。 2 部分实测:速度极慢还不稳定 Pixel Canary 上线后,网友很快分成了“测能力”和“猜身份”两路。 首先是测能力。在 x 上,有用户测试后表示,这款模型速度极慢,且很不稳定。他写道: “6 小时后 Pixel Canary 终于完成我的孔雀测试了,这东西现在运行速度慢得令人抓狂,而且很不稳定。就连 Astra、Kimi K3 或 Fable 5.1 都没让我等这么久,结果还算不错。这些羽毛看起来跟我测试的 MiMo V2.6 Pro 的羽毛惊人地相似。” 实际体验中,稳定性和速度成为争议焦点。网友 codemeoww 称,自己使用 Pixel Canary 时多次遇到任务进行到一半突然中断,最终停用。 展示测试结果的 Sahil Panhotra 回应说:“我也是试了好几次才得到这个结果。” codemeoww 随后表示,这款模型太慢,恐怕很难有人愿意长期使用。 还有 x 用户进行了经典的鹈鹕测试,并表示测试过程很痛苦,因为速度太慢了! “痛苦实测,神秘模型 Pixel Canary 鹈鹕测试,跑了 5 个小时,中途各种报错,个位数 tps 真的蚌埠住,效果你认为如何?” 还有用户表示,最终在经历了 20 多个 Provider 错误和 7 个多小时后……,终于测试了这款模型,效果如下: 还有网友 @benchmark_lb900 晒出 Pixel Canary 在“最大努力”模式下完成马里奥基准测试的表现,并对其能力提出质疑。他写道: “有些开发者称它达到了 FABLE 水平,但在我看来,它更像是 Sonnet 水平。” 这条评价反映的是该网友对一次测试结果的主观判断,尚不能据此认定 Pixel Canary 的整体能力处于哪个档位。 网友 VulKan 表示,等待 8 小时后,他放弃了对 Pixel Canary 的测试。 他认为,如果服务无法稳定提供,即使基准测试分数很高,也难以
暖心!颁奖嘉宾直言“只想给你金牌”,王楚钦微笑回应:下次我争取
为运动员提供数据跟踪和分析服务,通过运动数据提升运动效率。...
斯玛特离队反呛湖人:在这球权全被老詹占了,走了反而解脱
为运动员提供数据跟踪和分析服务,通过运动数据提升运动效率。...