AgentKit
Tài liệuBộ kitTham chiếu CLIỨng dụng Desktop
BetaBạn đang đọc tài liệu kênh beta (3.0.0-beta.15). Tính năng có thể thay đổi trước bản stable tiếp theo.Chuyển sang stable →

Skill

Viết, đạo diễn và tạo audio với ak:elevenlabs

Biến ý tưởng thành voice script sẵn sàng biểu diễn, thêm chỉ dẫn diễn đạt mà không đổi lời, đạo diễn dialogue và tạo speech, voice clone hoặc sound effect qua ElevenLabs trong khi review consent, chi phí và tệp audio.

Dùng ak:elevenlabs cho voice production trọn vòng: agent viết và đạo diễn, ElevenLabs biểu diễn. Skill biến ý tưởng hoặc bản nháp thành script sẵn sàng biểu diễn, thêm chỉ dẫn diễn đạt cho copy đã chốt, đạo diễn dialogue nhiều người nói, và tạo speech, instant voice clone được phép hoặc sound effect. Các hành động viết chỉ tạo text. Synthesis dùng ElevenLabs API và các helper Python đi kèm, vì vậy có thể tạo audio cục bộ, tiêu quota provider và, với cloning, thêm voice tồn tại lâu dài vào tài khoản ElevenLabs đã kết nối.

Chọn hành động

Dùng ak:elevenlabs khi

  • Bạn có ý tưởng, outline, bài viết hoặc bản nháp và cần script viết cho tai nghe, với chỉ dẫn mà model đích hiểu được.
  • Bạn có copy đã chốt và muốn thêm chỉ dẫn diễn đạt mà không đổi một lời nói nào.
  • Bạn cần dialogue nhiều người nói có chỉ dẫn từng lượt, có thể kèm synthesis.
  • Bạn cần text-to-speech từ script đã hoàn chỉnh hoặc tệp text cục bộ.
  • Bạn có quyền rõ ràng để tạo instant voice clone từ sample audio sạch.
  • Bạn cần sound effect được mô tả với thời lượng tối đa 30 giây.
  • Bạn có thể review pronunciation, identity, chất lượng audio, quyền, chi phí provider và distribution dự kiến trước khi dùng kết quả.

Chọn workflow khác khi

  • Bạn cần production video hoàn chỉnh có storyboard, mixing và export. Dùng ak:video.
  • Bạn cần edit, normalize, transcode hoặc mix audio mà không có request generation ElevenLabs. Dùng workflow media processing đã được duyệt.
  • Bạn muốn clone một người khi chưa có informed consent hoặc authorization.
  • Bạn cần conversational agent đang hoạt động. Guide trong package có đề cập voice agent, nhưng không hành động nào tạo hoặc triển khai agent.

Chuẩn bị provider và source material

Các hành động viết (script, enhance và phần viết của dialogue) không cần API key. Trước mọi synthesis:

  • Hoàn thành Làm quen và xác nhận Marketing Kit đã được cài cho runtime cùng scope hiện tại.
  • Cài Python và requirement trong package elevenlabs>=1.0.0 vào môi trường đã được duyệt.
  • Cung cấp ELEVENLABS_API_KEY qua cơ chế secret đã duyệt và cho phép request ra ElevenLabs.
  • Xác nhận tài khoản có feature access, quota, billing và license cần cho thao tác đã chọn, đồng thời xác nhận model cùng voice đã chọn khả dụng trên tài khoản.
  • Với cloning, cung cấp tên voice và một hoặc nhiều tệp audio được phép. Helper chấp nhận path MP3, WAV, M4A, OGG, FLAC và WebM, đồng thời khuyến nghị một đến hai phút source audio rõ ràng.
  • Với sound effect, cung cấp prompt mô tả và duration tùy chọn không quá 30 giây.
RuntimeCách gọiRanh giới khả dụng
Claude Code/ak:elevenlabs ...Phân phối native là mặc định; phân phối plugin rõ ràng cũng được hỗ trợ. Provider key và tài khoản vẫn là yêu cầu bên ngoài.
Cursor/ak:elevenlabs ...Cách gọi bằng slash đã được người dùng xác minh. Audio preview và behavior của tool hỗ trợ có thể khác theo thiết lập.
Codex$ak:elevenlabs ...Skill dùng discovery native của Codex. Hook projection một phần không thay đổi ranh giới provider, consent hay billing.

Xem Runtime adapter để hiểu khác biệt delivery rộng hơn.

Chạy Skill

Nêu hành động và ranh giới output. Ví dụ này chỉ yêu cầu script, không synthesis.

/ak:elevenlabs script "Đoạn intro 30 giây, ấm áp và tự tin cho tính năng quyền riêng tư: dữ liệu của bạn luôn do bạn kiểm soát." Nhắm eleven_v4, tiếng Việt. Trả về performance script và production notes; không synthesize

Argument hint là [action: script|enhance|speak|dialogue|clone|sfx] [text-or-file]. Khi bạn bỏ qua hành động, Skill tự suy ra: ý tưởng hoặc outline thành script, copy đã chốt kèm "không đổi lời" thành enhance, nhiều người nói thành dialogue, và script sẵn sàng kèm yêu cầu tạo audio thành speak.

Hiểu các hành động

Hành độngInputOutputTác động provider
scriptÝ tưởng, outline, bài viết hoặc bản nhápPerformance script có audio tag theo model và dấu câu điều khiển diễn đạt, kèm production notes riêng khi hữu íchKhông có
enhanceCopy đã chốtCùng lời nói, thêm chỉ dẫn diễn đạtKhông có
dialogueNgười nói và cảnhScript nhiều người nói có chỉ dẫn từng lượt; tùy chọn synthesis qua Text to Dialogue trên v4 hoặc v3Chỉ khi synthesize
speakScript hoàn chỉnh hoặc tệp textMột tệp audioGửi script, tiêu quota
cloneTên voice và tệp sample có consentVoice mới trong tài khoản provider cùng voice IDUpload sample, thay đổi tài khoản
sfxMô tả âm thanhMột tệp sound effectGửi prompt, tiêu quota

Production notes gồm model, voice, tag rủi ro, pronunciation, chunking và các câu nên audition. Chỉ dẫn phải thuộc về âm thanh; chỉ dẫn sân khấu dạng hình ảnh nằm trong production notes, không bao giờ nằm trong text được nói.

enhance giữ nguyên mọi lời nói: bỏ các tag đã thêm thì text phải khớp input của bạn, ngoại trừ dấu câu và viết hoa. Synthesis cũng không bao giờ viết lại lời. Nếu một câu cần đổi, hãy sửa script trước.

Chọn model theo use case

Skill chọn theo use case và xác nhận model khả dụng trên tài khoản trước mọi lần gọi. Model ID, setting, giá và giới hạn có thể thay đổi, vì vậy trang này không liệt kê giá hay quota.

Use caseModel ưu tiên
Voiceover biểu cảm hoặc diễn xuất, audiobook, tệp dialogueeleven_v4
Dialogue hoặc agent realtime biểu cảmeleven_v4_turbo, stream qua Text to Dialogue WebSocket
Narration rất dài, cần ổn địnheleven_multilingual_v2
Độ trễ thấp nhấtCác biến thể Flash

Cú pháp chỉ dẫn theo model. Eleven v4 và v3 lấy nhịp và cảm xúc từ audio tag, dấu câu và cấu trúc text, và không hỗ trợ SSML <break>. Multilingual v2 và Flash có thể dùng <break> ở nơi được hỗ trợ. Eleven v4 chỉ nhận voice setting stability và similarity.

Hiểu helper speech

Helper text-to-speech đi kèm mặc định dùng model eleven_v4, voice Rachel và output output.mp3. Helper chỉ gửi các voice setting bạn truyền vào. Với model có trong bảng capability, helper từ chối setting, flag hoặc tag <break> mà model đó không hỗ trợ thay vì gửi đi; với model khác, helper cảnh báo và chỉ gửi những gì bạn đã truyền.

Control helperMục đíchRanh giới model
-f/--file, -o/--output, -v/--voice, -m/--modelTệp input, output path, tên hoặc ID voice, model IDeleven_v4_turbo bị từ chối vì helper dùng HTTP endpoint
--stability, --similarityVoice settingMọi model
--style, --speed, --speaker-boost/--no-speaker-boostVoice settingKhông dùng cho Eleven v4
--language-codeÉp một ngôn ngữ, ví dụ frKhông dùng cho Multilingual v2
--previous-text, --next-textContext để nối các chunk của script dàiKhông dùng cho Eleven v3
--text-normalizationauto, on hoặc offMặc định của provider là auto
--output-formatOutput format của provider, ví dụ mp3_44100_128Giá trị do provider định nghĩa
--stream, --list-voicesDùng streaming endpoint, hoặc liệt kê voice của tài khoảnPhụ thuộc tài khoản

Helper chỉ dùng một voice. Helper không gọi Text to Dialogue, vì vậy tệp nhiều người nói trên v4 hoặc v3 được synthesize riêng qua API đó. Hãy coi các default là giá trị trong package, không phải lời hứa voice hay model vẫn khả dụng trên tài khoản đã kết nối.

Helper cloning nhận -d/--description và --labels với JSON. Helper sound effect nhận -o/--output (mặc định sound_effect.mp3), -d/--duration, --loop và --influence.

Theo các giai đoạn audio

  1. Resolve hành động. Skill chọn hành động, ngôn ngữ đích, model, input và output path, quyền provider, consent và ranh giới publication.
  2. Viết và đạo diễn. Với script, enhance và dialogue, Skill viết cho tai nghe, lên performance beat, thêm chỉ dẫn mà model đích hỗ trợ và chạy bước kiểm tra khả năng đọc thành tiếng. Chỉ synthesize khi bạn muốn có audio.
  3. Xác minh input cục bộ. Skill kiểm tra text hoặc tệp trước khi gửi dữ liệu. Sample bị thiếu hay không được hỗ trợ sẽ dừng cloning.
  4. Gọi provider. Helper xác thực bằng ELEVENLABS_API_KEY, gửi request và báo lỗi provider thay vì bịa audio. Script dài được chia tại ranh giới tự nhiên, kèm context trước và sau ở nơi model hỗ trợ.
  5. Ghi hoặc báo kết quả. Audio speech và sound effect được ghi vào output đã chọn. Cloning báo tên cùng voice ID đã tạo.
  6. Review trước khi dùng. Skill kiểm tra audio đã lưu: lời nói, ngôn ngữ, duration, format, mối nối và artifact.

Voice cloning thay đổi tài khoản provider

clone upload sample giọng nói giống dữ liệu sinh trắc và tạo voice identity tồn tại lâu dài trong ElevenLabs. Chỉ tiếp tục khi có quyền được ghi nhận và informed consent cho đúng mục đích dự kiến. Ghi lại voice ID trả về cùng owner chịu trách nhiệm retention hoặc deletion về sau.

Nhóm công việcRanh giới thông thường
Viết và đạo diễnscript, enhance và phần viết dialogue chỉ tạo text và không gửi gì tới ElevenLabs.
Thay đổi cục bộspeak và sfx ghi audio vào path đã chọn. Xác nhận parent directory và giữ tệp hiện có.
Tác động provider và chi phíRequest gửi script, prompt hoặc audio sample tới ElevenLabs, tiêu quota và có thể phát sinh chi phí theo plan đã kết nối.
Thay đổi tài khoảnclone thêm voice. Voice manager đi kèm cũng có thể xóa voice, nhưng deletion là hành động phá hủy riêng có confirmation và không được ngụ ý bởi lần chạy Skill thông thường.
Tác động publicationSkill không cấp quyền phân phối audio, gắn vào campaign, thực hiện cuộc gọi, tạo conversational agent đang hoạt động hay publish lên platform.

Không bao giờ expose API key trong prompt, tệp được tạo, đoạn log hay commit. Không dùng audio được tạo hoặc clone để impersonation, deception, endorsement không được phép, né disclosure rule hay testimony gây hiểu nhầm.

Review output và bằng chứng

Một lần chạy hoàn tất nên báo:

  • Hành động, source text hoặc sample path, model, setting provider và output path chính xác hoặc voice ID trả về.
  • Với hành động viết, performance script và production notes khi hữu ích.
  • Provider response hoặc lỗi rõ ràng mà không có artifact bịa đặt.
  • Listening review về pronunciation, pacing, identity, artifact, duration và mức phù hợp với context đã duyệt.
  • Trạng thái consent và quyền cho source voice, script, music cùng sound design.
  • Request liên quan quota hoặc chi phí và mọi bước tài khoản hay publication còn chờ.

Với cloning, giữ consent record cùng voice ID tách khỏi public content. Với speech, so sánh tên, ngày, giá và wording pháp lý hoặc y tế với script đã duyệt sau khi nghe; text đúng không đảm bảo pronunciation đúng.

Xử lý sự cố an toàn

Triệu chứngBước tiếp theo an toàn
Runtime không tìm thấy ak:elevenlabsXác nhận target cùng scope, mở session mới, rồi làm theo Runtime không tìm thấy Skill hoặc Agent.
Xuất hiện ELEVENLABS_API_KEY not foundCấu hình key qua cơ chế secret đã duyệt; không dán hoặc commit key.
Xuất hiện elevenlabs package not installedCài requirement Python trong package vào môi trường đã duyệt, rồi chỉ chạy lại hành động dự kiến.
Helper báo model không hỗ trợ một setting, tag <break>, --language-code hoặc stitchingBỏ tùy chọn không được hỗ trợ cho model đó. Trên v4, điều khiển nhịp và cảm xúc bằng audio tag và dấu câu.
Helper từ chối eleven_v4_turboDùng eleven_v4 cho output dạng tệp; eleven_v4_turbo được stream từ ứng dụng qua Text to Dialogue WebSocket.
Script đã enhance bị đổi lờiBỏ tag, so với bản gốc và khôi phục lời gốc trước khi synthesize.
Không tìm thấy voice được yêu cầuLiệt kê voice của tài khoản đã kết nối hoặc chọn voice được phép và khả dụng. Không tự thay identity.
Sample clone bị thiếu hoặc nhiễuDừng, thay bằng recording rõ ràng được phép và xác nhận lại consent trước upload.
Labels parse lỗiTruyền JSON hợp lệ vào --labels; không bỏ metadata identity hay consent chỉ để vượt lỗi.
Duration sound effect vượt 30 giâyGiảm --duration xuống 30 giây hoặc ít hơn, hoặc lập workflow edit riêng.
Output nghe không đúngGiữ setting cùng provider result, sửa có chủ đích một biến và chỉ tạo lại nếu quota cùng chi phí vẫn được duyệt.

Tiếp tục với Tổng quan Marketing Kit hoặc Projects, artifacts và checkpoints.

Biết các giới hạn hiện tại

  • Danh sách model trong package là trích đoạn lịch sử, không phải inventory trực tiếp. Xác nhận model, voice và setting trên tài khoản trước mỗi lần gọi.
  • Helper speech là text-to-speech HTTP một voice. Helper không synthesize Text to Dialogue và không stream eleven_v4_turbo.
  • Helper sound effect hiện tại chấp nhận --loop và --influence, nhưng SDK request chỉ forward prompt cùng duration tùy chọn. Không tuyên bố tệp đã lưu seamless hay prompt influence đã được áp dụng khi chưa có bằng chứng riêng.
  • Helper cloning triển khai instant voice creation qua voices.add; không thực hiện workflow training professional cloning được mô tả trong reference.
  • Model, voice, language coverage, quota, latency, giá, plan requirement, output format và licensing của provider có thể thay đổi độc lập với Skill trong package.
  • Audio generation không đảm bảo naturalness, identity fidelity, intelligibility, conversion, platform acceptance hay quyền pháp lý.