AI Engineer Summit 2023 参会反思：LLM 系统落地的评测与成本难题

首届 AI Engineer Summit 上，Amplify Partners 对 AI Engineering 的调研显示，在 800 多份回复中，评测（evals）和推理服务成本被列为 LLM 部署的最大痛点。目前评测手段仍缺乏好方案，介于确定但脆弱的 assert 断言与昂贵随机的 3P LLM 打分之间，代码生成因可验证输出成为相对易评测的例外。RAG 短期不会消失，缓存降本则讨论寥寥。