哈佛研究：AI 提升咨询顾问效率但在战略任务上降低准确率
Centaurs & Cyborgs : The Jagged Frontier of AI
哈佛商学院分析了 758 名咨询顾问使用 GPT-4 的表现。第一项实验中，使用 AI 的顾问平均多完成 12.2% 的任务、速度快 25.1%、质量提升 40%，低绩效者受益最大（提升 43%，高绩效者为 17%）。
原文归纳了哈佛对 758 名咨询顾问用 AI 的实验数据，读者可以据此理解 AI 在哪些任务上提升绩效、在哪些任务上反而降低准确率。
简而言之： 哈佛研究表明，AI 能提升生产力，但在战略性任务中可能降低准确性，凸显了有效人机协作的必要性。
上周，哈佛商学院发布了对758 名顾问使用 AI 时 LLM 表现的分析。得出了三个关键洞察。
在第一个实验（处于 AI 能力边界内）中，随机获得 GPT-4 AI 访问权限的顾问平均多完成 12.2% 的任务，速度快 25.1%。质量提升了 40%。
表现较差的顾问从 AI 增强中获益最多，绩效提升了 43%，而表现较好的顾问仅提升 17%。
这种水涨船高效应似乎在各类 AI 应用中普遍存在。在销售、客户支持和咨询领域，对较低四分位人群的益处尤为显著。这具有更广泛的影响，我打算本周晚些时候就此写点东西。
在第二个实验中，顾问分析业务数据以提供战略建议。在这里，AI 反而降低了表现——使用 AI 的人给出正确解决方案的可能性低了 19 个百分点。
“锯齿状边界”这一概念描述了 AI 如何在一些任务上大幅提升生产力，但在看似相似的任务上却毫无价值甚至降低表现。
与任何工具一样，我们需要学习最佳应用方式与技巧，以有效雕琢知识工作。
最后，论文讨论了两种人机协作类型：半人马与赛博格。半人马向 AI 寻求高层级帮助。赛博格则训练 AI 扮演某个角色。对我来说，两者的区别仍有些模糊，但论文附录 E 的最后一节强调了不同的技巧，其中一些我尚未探索过。
| 角色 | 实践与描述 |
|---|---|
| 半人马 | 让 AI 梳理问题领域 |
| 优化人类输入并改进其呈现方式 | |
| 赛博格 | 让 AI 模拟某种性格或角色（例如，软件买家） |
| 让 AI 编辑自己的作品 | |
| 让 AI 解释其逻辑并暴露矛盾 | |
| 不同意 AI |
我还没有让 LLM 扮演过某人，但考虑到对教育的影响，我可以想象 LLM 会成为新员工在销售和客户支持岗位上的培训师。
尤其是因为对较低四分位人群（想必其中许多正处于上手阶段）的影响如此显著。
在收件箱中获取下一篇
将技术数据转化为战略优势的 1 分钟阅读。
150k+ 创始人和运营者都在读。
Theory Ventures 普通合伙人。前 Google 产品经理。分享关于 AI、web3 和风险投资的数据驱动洞察。
来源：Tomer Tunguz 博客（VC 分析） · tomtunguz.com