跳到正文
原文
OpenRouter:Announcements(RSS)·· 15 小时前精选AI 评分63

OpenRouter 教程:如何在 CI 中用 LLM eval 拦截 Pull Request

How to Gate Pull Requests on LLM Evals in CI

AI 导读

OpenRouter 发布教程,讲解如何用固定 eval 集在 CI 中拦截 PR,防止提示词改动让智能体输出错误答案。教程给出完整脚本和 GitHub Actions 工作流:eval 集随提示词放在同一仓库,脚本多次采样取多数判定,pass rate 低于阈值时以非零退出码阻止合并。

推荐理由

OpenRouter 官方教程给出在 GitHub Actions 中用固定 eval 集拦截 PR 的完整做法,包括阈值测量和 job 级过滤等易错细节。

来源:OpenRouter:Announcements(RSS) · openrouter.ai