AgentKit
Tài liệuBộ kitTham chiếu CLIỨng dụng Desktop

eval

ak eval triage

So sánh kết quả phân loại finding ở chế độ shadow với quyết định review có thẩm quyền.

So sánh kết quả phân loại finding ở chế độ shadow với quyết định review có thẩm quyền.

Chế độ shadow chỉ gọi provider bên ngoài khi bạn đã bật semantic_decision ở user scope, cấp quyền tường minh cho consumer này bằng semantic_decision.consumers.review-triage đặt là true, và cung cấp TYPESAFE_API_KEY trong môi trường. Quyền cấp này là bắt buộc kể cả khi bạn không có map consumers. Xem ak eval decision để biết các key opt in.

Dùng ak eval triage với đối số và tùy chọn dưới đây. Phần help nguyên bản giữ nguyên thuật ngữ, cú pháp, tác động và điều kiện thực thi của CLI để đối chiếu chính xác.

Contract và help của lệnh

Compare shadow finding triage with authoritative review decisions

Synopsis

Compare shadow finding triage with authoritative review decisions. Input must contain compact reviewed facts; raw scanner output is not accepted.

Effects: Prints a bounded local report. Shadow mode may send sanitized facts after explicit user and consumer consent; never executes fixes or changes review authority.

Exit status: 0 report generated; inspect safety and coverage 1 invalid input or configuration

ak eval triage <input.json|-> [flags]

Examples

  ak eval triage input.json --json
  ak eval triage - --json

Options

  -h, --help             help for triage
      --json             Emit machine-readable JSON (implies --no-interactive)
      --mode string      off or shadow; never changes effective review decisions (default "off")
      --no-interactive   Disable interactive prompts (CI-safe)
  -q, --quiet            Suppress non-error output on stderr
  -V, --verbose          Extra diagnostic output on stderr (loses to --quiet)
  -y, --yes              Assume yes for all prompts

SEE ALSO

  • ak eval - Run controlled skill and agent evaluations