AgentKit
Tài liệuBộ kitTham chiếu CLIỨng dụng Desktop

test

ak test benchmark

Chạy corpus hồi quy đáng tin cậy trong các workspace tạm cô lập.

Chạy corpus hồi quy đáng tin cậy trong các workspace tạm cô lập.

Chỉ dùng corpus bạn tin cậy: lệnh thực thi các command trong corpus trên máy của bạn.

Dùng ak test benchmark với đối số và tùy chọn dưới đây. Phần help nguyên bản giữ nguyên thuật ngữ, cú pháp, tác động và điều kiện thực thi của CLI để đối chiếu chính xác.

Contract và help của lệnh

Execute trusted regression corpus in isolated temporary workspaces

Synopsis

Execute a trusted corpus in fresh temporary workspaces with isolated tool homes. This is not an OS sandbox. Compare repeated baseline and selected checks against an independent failure oracle. Measurements describe synthetic regression detection, not production savings.

Effects: Executes corpus commands, creates and removes temporary workspaces, and optionally creates a local JSON receipt without overwriting an existing file.

Exit status: 0 all comparison trials valid with no missed regressions 1 invalid or failed comparison, or input/output failure 2 invalid arguments

ak test benchmark <corpus.json> [flags]

Examples

  ak test benchmark corpus.json --json
  ak test benchmark corpus.json --output comparison.json

Options

      --e2e-labels string        Independent E2E labels for a replay containing classifier advice
  -h, --help                     help for benchmark
      --json                     Emit machine-readable JSON (implies --no-interactive)
      --no-interactive           Disable interactive prompts (CI-safe)
      --output string            Create a new JSON comparison receipt; never overwrite
  -q, --quiet                    Suppress non-error output on stderr
      --semantic-replay string   Replay frozen semantic observations offline; never call a provider
  -V, --verbose                  Extra diagnostic output on stderr (loses to --quiet)
  -y, --yes                      Assume yes for all prompts

SEE ALSO

  • ak test - Plan and execute repository test-impact checks