Phân tích và tạo media với ak:ai-multimodal

Dùng ak:ai-multimodal để phân tích image, transcribe audio hoặc video, trích xuất structured data, convert document và tạo asset image, video, speech hoặc music. Skill điều phối CLI được pin chính xác @mrgoonie/multix@0.2.0; catalog provider vẫn là authority cho model, limit, retention, feature và pricing hiện tại.

Chọn công việc multimodal dựa trên provider

Dùng ak:ai-multimodal khi

• Bạn cần OCR, visual evidence, hiểu layout hoặc so sánh nhiều image.
• Bạn cần transcript có timestamp, scene map, summary hoặc structured extraction từ audio hay video.
• Bạn cần convert document được hỗ trợ sang Markdown.
• Bạn cần image, video, speech hoặc music do provider tạo với model rõ ràng và bước review.
• Bạn cần optimize hay split media trước giới hạn upload provider đã xác minh.

Chọn workflow khác khi

• Bạn muốn tìm prompt tuyển chọn cho visual concept mới. Dùng ak:ai-artist.
• Công việc là resize, encode, composite, metadata hoặc xóa background local, xác định được. Dùng ak:media-processing.
• Bạn không thể upload source media hay prompt cho bên thứ ba.
• Kết luận OCR, identity, measurement, legal, medical hoặc safety quan trọng không thể được kiểm tra độc lập với bản gốc.

Chuẩn bị input, tool và provider access

Trước khi bắt đầu:

• Hoàn thành Làm quen và xác nhận Engineer Kit đã được cài cho runtime cùng scope hiện tại.
• Dùng Node.js 20+ và cách gọi được pin npx -y -p @mrgoonie/multix@0.2.0 multix; không thay bằng bản global multix trôi nổi.
• Chạy multix --version qua cách gọi đó, rồi multix check --verbose. Lần đầu có thể tải npm package và những lần sau dùng npm cache.
• Chỉ cấu hình provider cần thiết: GEMINI_API_KEY, tùy chọn OPENROUTER_API_KEY hoặc tùy chọn MINIMAX_API_KEY. CLI được pin có thể tìm key trong process environment, project .env hoặc ~/.multix/.env.
• Kiểm tra subcommand được pin bằng --help, rồi xác minh model provider hiện tại, input và control được hỗ trợ, retention, quota cùng pricing.
• Nêu mọi input, output dự kiến, upload được phép, nhu cầu redaction và cleanup. Chỉ cài hoặc duyệt FFmpeg khi operation đã chọn cần nó.

Chạy phân tích có giới hạn

/ak:ai-multimodal "Analyze ./assets/receipt.png, extract merchant, date, currency, total, and line items to ./artifacts/receipt.json, separate unreadable fields from inferred values, and do not upload any other file"

/ak:ai-multimodal "Analyze ./assets/receipt.png, extract merchant, date, currency, total, and line items to ./artifacts/receipt.json, separate unreadable fields from inferred values, and do not upload any other file"

$ak:ai-multimodal "Analyze ./assets/receipt.png, extract merchant, date, currency, total, and line items to ./artifacts/receipt.json, separate unreadable fields from inferred values, and do not upload any other file"

Khớp operation với bằng chứng

Không thay <verified-model-id> bằng giá trị copy từ trang này. Model ID cùng control phải được resolve với provider live trước generation.

Quan sát các giai đoạn xử lý

1. Skill định nghĩa contract bằng chứng. Skill xác định source file, mục tiêu analysis hay generation, output format, uncertainty và privacy boundary.
2. Skill kiểm tra backend được pin. Node, npm cache, provider key, FFmpeg khi phù hợp và Multix command liên quan được xác minh.
3. Skill resolve provider fact live. Model, modality được hỗ trợ, input method, size hay duration limit, control, retention, quota và price được kiểm tra trước request.
4. Skill chỉ chuẩn bị media khi cần. Input quá lớn được compress hoặc split sau khi biết boundary; source detail cần cho OCR hay fine visual inspection được giữ.
5. Skill xử lý hoặc tạo. CLI được pin upload input đã duyệt và ghi local artifact yêu cầu.
6. Skill xác minh với source hoặc brief. Name, number, timestamp, visible evidence, prompt adherence, continuity, pronunciation và artifact được kiểm tra.
7. Skill báo cáo và cleanup. Provider, model, command, file, segment status, limitation và yêu cầu xóa input provider-hosted được ghi nhận.

Kiểm soát upload, quyền riêng tư, quyền sử dụng và chi phí

• Không đặt provider key thật trong prompt, .env được commit, log hay report tạo ra. Giữ provider error nhưng redact credential.
• Phải có consent cùng quyền phù hợp cho voice, likeness, recording, music, document, reference image và generated output trước khi dùng hoặc publish.
• Generation và analysis có thể dùng token, media second, storage hay provider job tính phí. Tạo review sample ngắn trước và duyệt retry tốn kém.
• npx có thể tải code và dùng npm cache. FFmpeg optimization tạo tệp mới, dùng CPU, memory, disk và process time local.
• Split media có thể mất context giữa segment. Ghi chunk boundary và không bịa continuity của transcript hay narrative khi merge.
• Skill ghi artifact local nhưng không publish, commit, deploy hay xóa bản gốc nếu chưa có quyền riêng.

Xác minh kết quả

Kết quả hoàn tất nên gồm:

• Phiên bản Multix được pin, command family chính xác, provider, model rõ ràng khi phù hợp và live capability check.
• Input path, file thực sự upload, compression hay segmentation và provider cleanup status.
• Output path cùng format, cộng timestamp, schema, prompt hay setting cần để diễn giải từng artifact.
• Source-grounded validation cho name, number, text, timing, visual evidence, motion, sound, pronunciation hay prompt adherence tùy task.
• Provider error, region không chắc chắn, chunk lỗi, review quyền hoặc privacy và current limit đã giới hạn kết quả.

Stable và beta đóng package cùng content ak:ai-multimodal và exact Multix pin. Provider catalog là external state live; release không chứng minh model availability, pricing, retention hiện tại hay cross-runtime parity.

Xử lý sự cố và hiểu giới hạn