Canonical: https://botbento.com/zh/usecases/automated-model-evaluation-runner/
Format: Markdown representation of the public HTML page.

[首页](/) / [用例](/zh/usecases/) / [编程](/zh/usecases/?category=coding)

编程 · 中级

已验证

自动化验证

- 已通过全部自动化关卡：结构校验、唯一性、HTTPS 与来源链接可访问、提示注入与安全扫描、审批步骤规则。
- 未记录起草模型。
- 第二模型审核：deepseek/deepseek-v4-pro（无严重或高危问题）。
- 简体中文译文：google/gemini-4-argon，由 openai/gpt-5.5 审核。
- 验证于 2026-10-16。
- 仅经自动化检查和 AI 审核，未经人工审核。[验证如何运作](/zh/usecases/verification/)

# 自动化模型评估运行器

基于结构化测试数据集和类型化标准，评估模型提示词变体与输出

[在 BotBento 中使用 ](https://app.botbento.com/?ref=usecases&utm_source=botbento.com&utm_medium=usecases&utm_campaign=automated-model-evaluation-runner)复制提示词分享[Markdown](/text/zh/usecases/automated-model-evaluation-runner/index.md)[English](/usecases/automated-model-evaluation-runner/)

打开 BotBento。请将提示词粘贴到 Bot 中；不含任何预设配置。

- 事件发生时触发推送提示词变更
- 然后运行类型化评估测试套件
- 结果包含通过率的评估报告

使用结构化验证标准，对照标准化数据集测试生成式模型的输出。该 Bot 会运行指定的评估流水线，验证输出模式与断言约束，突出显示跨提示词变更的回归问题，并为开发团队生成清晰的诊断报告。

## 起步提示词

BotBento推荐

```
针对代码库中最近的提示词或数据集更新执行评估测试套件。将模型输出与所需类型、模式规则和行为断言进行比对。按类别对失败项进行分组，并记录完整的输入输出追踪日志。起草一份汇总报告供审查，但在向拉取请求发布任何评论或更新基准线之前，必须等待用户批准。
```

复制

## 所用工具

GitHub终端数据库

## 适用于

BotBento

## 标签

- evaluation
- llm
- testing
- benchmarks
- qa

## 来源

[Show HN: jevals – replacing LLM judges with typed Jev decisions](https://news.ycombinator.com/item?id=49780849)
Hacker News · 已核查 2026-10-15

内容以我们自己的话概述。其中描述的任何结果均为原作者所述，并非 BotBento 实测。

由 AI 辅助自英文版翻译，并经自动审核模型检查。以英文文本为准。

作者：BotBento Editorial · 发布于 2026-10-15 · 更新于 2026-10-15 · [提交更正](/contact/)

## 相关用例

-

编程中级

## [自动化 API 与 UI 测试执行](/zh/usecases/automated-api-and-ui-test-execution/)

触发端到端测试套件，检查失败日志，并发布分类排查报告

终端SlackGitHub[已验证](/zh/usecases/verification/)
-

编程中级

## [自动化端到端 Web 测试 Bot](/zh/usecases/automated-end-to-end-web-testing-bot/)

在部署前执行真实的 Web 用户流程并报告回归问题

浏览器GitHubSlack终端[已验证](/zh/usecases/verification/)
-

编程中级

## [自动化测试用例生成与分类诊断](/zh/usecases/automated-test-case-generation-and-triage/)

将软件需求文档转化为可执行的 API 和 UI 测试，并自动诊断故障

文档终端GitHub[已验证](/zh/usecases/verification/)