Cognition 模型 / Devin 博客（网页）·· 13 小时前AI 评分56
Cognition 发布测量 Devin 等效工程工时的估算系统
Estimating the Productivity of an Autonomous AI Software Engineer06.04.26Engineering leaders want to know how much value AI is actually providing. We built a system that measures the number of human-equivalent hours of Devin's work.
AI 导读
Cognition 构建了一套自动估算 Devin 会话相当于多少有效人工工程工时的系统，并用 AI 智能体审查每个会话、换算成美元价值，已随客户投入运行。系统基于 126 位用户、258 个会话的人工标注数据训练，在 233 个held-out会话上达到 rlog 0.74，且经对数空间校准后刻意偏保守低估；单项估计噪声约 2-3 倍，但聚合后误差相互抵消。
来源：Cognition 模型 / Devin 博客（网页） · cognition.com