AgentKit
Tài liệuBộ kitTham chiếu CLIỨng dụng Desktop
BetaBạn đang đọc tài liệu kênh beta (3.0.0-beta.15). Tính năng có thể thay đổi trước bản stable tiếp theo.Chuyển sang stable →

eval

ak eval ui

Báo cáo tín hiệu hồi quy UI ở chế độ shadow, chỉ khi bạn opt in.

Báo cáo tín hiệu hồi quy UI ở chế độ shadow, chỉ khi bạn opt in.

Chế độ shadow chỉ gọi provider bên ngoài khi bạn đã bật semantic_decision ở user scope, cấp quyền tường minh cho consumer này bằng semantic_decision.consumers.ui-regression đặt là true, và cung cấp credential của provider đã chọn (xem provider và credential). Quyền cấp này là bắt buộc kể cả khi bạn không có map consumers. Xem ak eval decision để biết các key opt in.

--output tạo receipt với quyền 0600 và báo lỗi nếu tệp đã tồn tại.

Dùng ak eval ui với đối số và tùy chọn dưới đây. Phần help nguyên bản giữ nguyên thuật ngữ, cú pháp, tác động và điều kiện thực thi của CLI để đối chiếu chính xác.

Contract và help của lệnh

Report opt-in shadow UI regression signals

Synopsis

Reads a reviewed compact DOM/a11y/computed/journey capture. Default off makes no provider call. Shadow requires user provider consent, explicit ui-regression consumer grant, and key. Browser failures remain failures; unknown provider results retain the current workflow.

Effects: Optional paid text-only inference; no browser or vision calls. Creates a receipt only with --output. Never uploads image/video or changes test results.

Exit status: 0 report available; inspect deterministic failures and unknown signals 1 invalid input, configuration or output failure

ak eval ui <state.json|-> [flags]

Examples

  ak eval ui capture.json --json
  ak eval ui capture.json --mode shadow --output signals.json --json

Options

  -h, --help             help for ui
      --json             Emit machine-readable JSON (implies --no-interactive)
      --mode string      off or shadow; never changes browser authority (default "off")
      --no-interactive   Disable interactive prompts (CI-safe)
      --output string    Create a new receipt without overwriting
  -q, --quiet            Suppress non-error output on stderr
  -V, --verbose          Extra diagnostic output on stderr (loses to --quiet)
  -y, --yes              Assume yes for all prompts

SEE ALSO

  • ak eval - Run controlled skill and agent evaluations