ak eval workflow-benchmark

Phát lại các quyết định workflow đã gắn nhãn, hoàn toàn offline.

Dùng ak eval workflow-benchmark với đối số và tùy chọn dưới đây. Phần help nguyên bản giữ nguyên thuật ngữ, cú pháp, tác động và điều kiện thực thi của CLI để đối chiếu chính xác.

Contract và help của lệnh

Replay labeled workflow decisions offline

Synopsis

Replay up to100 independently labeled cases bound to exact sanitized requests, policy, thresholds and legacy decisions. Missing or invalid observations make complete=false. Synthetic data validates arithmetic only; actual avoided calls remain0 and unknown cost is null.

Effects: Reads a selected local corpus and prints a comparison. No provider, credential, configuration, subprocess or workflow execution.

Exit status: 0 report available; inspect complete and coverage 1 invalid corpus 2 invalid arguments

ak eval workflow-benchmark <corpus.json|-> [flags]

Examples

  ak eval workflow-benchmark corpus.json --json
  cat corpus.json | ak eval workflow-benchmark - --json

Options

  -h, --help             help for workflow-benchmark
      --json             Emit machine-readable JSON (implies --no-interactive)
      --no-interactive   Disable interactive prompts (CI-safe)
  -q, --quiet            Suppress non-error output on stderr
  -V, --verbose          Extra diagnostic output on stderr (loses to --quiet)
  -y, --yes              Assume yes for all prompts

SEE ALSO

• ak eval - Run controlled skill and agent evaluations