ak eval run

Chạy đánh giá theo cấu hình và bộ dữ liệu đầu vào.

Dùng suite đáng tin cậy: lệnh có thể chạy command cục bộ, gọi model có phí, ghi measurement và xóa workspace tạm. Workspace isolation không phải OS sandbox.

Dùng ak eval run với đối số và tùy chọn dưới đây. Phần help nguyên bản giữ nguyên thuật ngữ, cú pháp, tác động và điều kiện thực thi của CLI để đối chiếu chính xác.

Contract và help của lệnh

Execute repeated isolated evaluation trials

Synopsis

Execute the suite's commands and graders. This is workspace isolation, not an OS sandbox; use only trusted suites.

Effects: Runs configured local commands, possibly paid model calls; writes local measurements and removes temporary workspaces.

Exit status: 0 suite finished; inspect failure counts 1 suite or measurement error 2 invalid arguments

ak eval run <suite.json> [flags]

Examples

  ak eval run suite.json --json
  ak eval run holdout-suite.json

Options

  -h, --help             help for run
      --json             Emit machine-readable JSON (implies --no-interactive)
      --no-interactive   Disable interactive prompts (CI-safe)
  -q, --quiet            Suppress non-error output on stderr
  -V, --verbose          Extra diagnostic output on stderr (loses to --quiet)
  -y, --yes              Assume yes for all prompts

SEE ALSO

• ak eval - Run controlled skill and agent evaluations