ak test benchmark

Chạy corpus hồi quy đáng tin cậy trong các workspace tạm cô lập.

Chỉ dùng corpus bạn tin cậy: lệnh thực thi các command trong corpus trên máy của bạn.

Dùng ak test benchmark với đối số và tùy chọn dưới đây. Phần help nguyên bản giữ nguyên thuật ngữ, cú pháp, tác động và điều kiện thực thi của CLI để đối chiếu chính xác.

Đọc kết quả so sánh

Mỗi case trong corpus chạy trong các workspace tạm mới với tool home cô lập. Corpus khai báo source fixture, path thay đổi, manifest, policy và tập group độc lập được kỳ vọng thất bại. Các lần chạy luân phiên thứ tự baseline và selection, ghi lại lệnh thực tế, exit status, thời gian đã trôi qua, số lần thử và lý do được chọn hoặc bị bỏ qua.

Baseline đầy đủ phải phát hiện đúng các lỗi được kỳ vọng. Lỗi setup, timeout, thiếu check bắt buộc hoặc oracle sai làm trial đó không hợp lệ, và lệnh thoát với 1. Một regression được kỳ vọng phải thoát với 1, trừ khi corpus khai báo mã khác từ 1 đến 125 cho group đó trong expected_exit_codes; cả baseline và selection phải khớp chính xác, và kết quả command-not-found hoặc signal không bao giờ thỏa oracle. Lệnh trong corpus nên tách lỗi setup khỏi lỗi assertion, vì runner không phân biệt được hai nguyên nhân trả về cùng một mã kỳ vọng.

Một lần so sánh thành công báo không bỏ sót regression đã biết nào trong một corpus tổng hợp. Đó không phải bằng chứng về coverage toàn diện hay mức tiết kiệm trong production, và chi phí giữ là null khi không có phép đo. --output tuân theo cùng quy tắc chỉ tạo tệp mới như ak test optimize.

Contract và help của lệnh

Execute trusted regression corpus in isolated temporary workspaces

Synopsis

Execute a trusted corpus in fresh temporary workspaces with isolated tool homes. This is not an OS sandbox. Compare repeated baseline and selected checks against an independent failure oracle. Measurements describe synthetic regression detection, not production savings.

Effects: Executes corpus commands, creates and removes temporary workspaces, and optionally creates a local JSON receipt without overwriting an existing file.

Exit status: 0 all comparison trials valid with no missed regressions 1 invalid or failed comparison, or input/output failure 2 invalid arguments

ak test benchmark <corpus.json> [flags]

Examples

  ak test benchmark corpus.json --json
  ak test benchmark corpus.json --output comparison.json

Options

      --e2e-labels string        Independent E2E labels for a replay containing classifier advice
  -h, --help                     help for benchmark
      --json                     Emit machine-readable JSON (implies --no-interactive)
      --no-interactive           Disable interactive prompts (CI-safe)
      --output string            Create a new JSON comparison receipt; never overwrite
  -q, --quiet                    Suppress non-error output on stderr
      --semantic-replay string   Replay frozen semantic observations offline; never call a provider
  -V, --verbose                  Extra diagnostic output on stderr (loses to --quiet)
  -y, --yes                      Assume yes for all prompts

SEE ALSO

• ak test - Plan and execute repository test-impact checks