OpenRouter:Announcements(RSS)·· 15 小时前精选AI 评分63
OpenRouter 教程:如何在 CI 中用 LLM eval 拦截 Pull Request
How to Gate Pull Requests on LLM Evals in CI
AI 导读
OpenRouter 发布教程,讲解如何用固定 eval 集在 CI 中拦截 PR,防止提示词改动让智能体输出错误答案。教程给出完整脚本和 GitHub Actions 工作流:eval 集随提示词放在同一仓库,脚本多次采样取多数判定,pass rate 低于阈值时以非零退出码阻止合并。
推荐理由
OpenRouter 官方教程给出在 GitHub Actions 中用固定 eval 集拦截 PR 的完整做法,包括阈值测量和 job 级过滤等易错细节。
来源:OpenRouter:Announcements(RSS) · openrouter.ai