Skip to content
Tech

AI Agent Ngomong Pakai Suaramu: Voice Cloning Lokal, Pagarnya Dulu

VoiceStudio bikin AI agent bisa bicara pakai suaramu lewat MCP, lokal dan open-source. Ini use case, jebakan lisensi, dan setup aman sebelum dipakai.
7 minutes to read
1 minggu lalu
Zainul Fanani
AI Agent Ngomong Pakai Suaramu: Voice Cloning Lokal, Pagarnya Dulu
📅 4 Nov 2026🤍0 👁 0 🔗 0

Bayangkan pagi-pagi kamu buka HP, dan laporan harian dari AI agent kamu bukan teks panjang, tapi voice note 40 detik. Suaranya suara kamu sendiri.

Dulu ini identik dengan layanan cloud berbayar dan upload rekaman suara ke server orang. Sekarang? Ada aplikasi open-source yang jalan di laptop, bisa clone suara, dan punya MCP server supaya agent bisa langsung "ngomong".

Namanya VoiceStudio. Saya sudah baca dokumentasinya cukup dalam, dan kesimpulan saya: ini superpower yang beneran berguna, tapi juga salah satu tool paling gampang disalahgunakan yang pernah saya lihat masuk ke stack AI agent.

Jadi artikel ini bukan cuma "wow keren". Ini soal gimana pakainya tanpa bikin masalah.

VoiceStudio Itu Apa, Singkatnya

Menurut README resminya, VoiceStudio adalah alternatif ElevenLabs yang open-source dan jalan sepenuhnya lokal: voice cloning, voice design, video dubbing, dikte, transkripsi, sampai bikin audiobook, dengan klaim dukungan 646 bahasa.

Beberapa hal yang menurut saya penting:

  • Jalan di device sendiri. Ada installer macOS, Windows, Linux, Docker, bahkan preview Android dan iOS yang disebut bisa offline setelah model terunduh.
  • Bisa jalan di CPU. README-nya bilang tanpa GPU tetap bisa dipakai, cuma lebih lambat.
  • Engine-nya bisa diganti. Default-nya pakai OmniVoice dari k2-fsa, tapi di Model Manager ada banyak engine lain seperti CosyVoice, GPT-SoVITS, sampai IndexTTS (feature catalog).
  • Ada Local API dan MCP server. Ini bagian yang bikin saya tertarik.

Repo ini juga lagi rame banget. Saat saya cek lewat GitHub API (4 November 2026), bintangnya sudah di atas 100 ribu, padahal repo-nya baru dibuat April 2026. Thread yang ramai di X beberapa hari lalu masih menyebut 94 ribu.

Bar chart GitHub stars repo voice AI open-source: VoiceStudio 100.2K, GPT-SoVITS 64.8K, voicebox 59.4K, Coqui TTS 46.2K, Fish Speech 33.6K, OmniVoice 16.3K
Bar chart GitHub stars repo voice AI open-source: VoiceStudio 100.2K, GPT-SoVITS 64.8K, voicebox 59.4K, Coqui TTS 46.2K, Fish Speech 33.6K, OmniVoice 16.3K

Tapi ingat: bintang GitHub itu ukuran popularitas, bukan kualitas, apalagi izin pakai. Soal izin pakai ini nanti kita bahas, karena ada jebakannya.

Bagian Paling Menarik: MCP Server Bawaan

Kalau kamu sudah baca tulisan saya soal audit plugin dan connector AI agent, kamu tahu saya cukup pelit soal nambah connector. Tapi yang ini saya anggap layak dipertimbangkan, karena desainnya cukup hati-hati.

Menurut dokumentasi MCP-nya, server MCP langsung nempel di backend di path /mcp/. Jadi begitu VoiceStudio jalan, agent tinggal connect. Tool yang disediakan antara lain:

Yang bikin saya senang, dokumentasinya bahkan kasih contoh config untuk Hermes Agent, bukan cuma Claude Code dan Cursor:

yaml
mcp_servers:
  voicestudio:
    url: "http://127.0.0.1:3900/mcp/"
    headers:
      X-OmniVoice-Client-Id: "hermes"

Header X-OmniVoice-Client-Id itu kuncinya. Tiap agent mengidentifikasi diri pakai client id, dan kamu bisa bind client id ke voice profile tertentu. Jadi Hermes bisa pakai satu suara, Claude Code suara lain. Urutan pemilihan suaranya jelas: profile_id eksplisit dulu, lalu binding milik agent, baru suara default.

Ada juga detail yang sering dilupakan orang: audio dalam bentuk base64 itu makan context agent. VoiceStudio punya mode OMNIVOICE_MCP_OUTPUT_MODE=files supaya hasil render disimpan sebagai file, dan agent cukup pegang path-nya. Ini selaras dengan prinsip yang saya pegang: jangan isi context agent dengan sampah yang nggak perlu dibaca.

Use Case yang Masuk Akal

Saya nggak tertarik bikin "podcast AI" penuh. Yang saya lihat berguna justru hal-hal kecil:

  1. Laporan harian dalam bentuk voice note. Ringkasan pagi dari agent dibacakan, enak didengar sambil nyetir atau ngopi.
  2. Voice over video tutorial. Ini nyambung dengan workflow video as code pakai Remotion dan HyperFrames. Script dari agent, visual dari kode, suara dari VoiceStudio. Semua di mesin sendiri.
  3. Dubbing konten ke bahasa lain. Satu video bahasa Indonesia bisa punya versi Inggris tanpa rekam ulang.
  4. Transkripsi rapat dan voice memo yang nggak boleh keluar dari laptop karena isinya sensitif.

Untuk voice agent yang ngobrol real-time dengan pelanggan lewat telepon, itu kategori lain. Saya pernah bahas pendekatan managed seperti Cartesia Managed Agents. VoiceStudio lebih cocok untuk produksi audio dan automation internal.

Jebakan #1: Lisensi Model, Bukan Cuma Lisensi App

Ini bagian yang paling sering dilewati orang yang buru-buru.

Aplikasinya berlisensi AGPL-3.0, dan README bilang itu termasuk penggunaan komersial sesuai ketentuannya. Tapi model weights, voice, dan output punya lisensi sendiri-sendiri.

Di model credits, mereka mencatat bahwa kartu model OmniVoice membedakan kode Apache-2.0 dengan weights berlisensi CC-BY-NC. NC artinya non-commercial. Padahal OmniVoice itu engine default.

Lebih jujur lagi, inventaris lisensi model mereka bilang belum ada satu pun record yang statusnya sudah di-review dan di-clear untuk komersial. Bukan berarti semua model dilarang komersial, tapi artinya kamu yang wajib cek sendiri sebelum dipakai untuk klien atau konten berbayar.

Lesson: "Open-source" di app tidak otomatis berarti boleh dipakai komersial untuk suara yang dihasilkan. Cek lisensi engine yang kamu pakai.

Jebakan #2: Suara Orang Itu Bukan Bahan Gratis

README VoiceStudio sendiri menulis jelas: clone suara hanya dengan izin pemiliknya. Di dokumentasi MCP-nya juga ada saran untuk memakai voice profile yang sudah consent-verified untuk agent yang berbicara sebagai kamu.

Saya setuju, dan saya mau lebih tegas: agent kamu jangan pernah punya akses ke suara orang lain, titik.

Di Indonesia, UU No. 27 Tahun 2022 tentang Pelindungan Data Pribadi memasukkan data biometrik sebagai data pribadi yang bersifat spesifik. Saya bukan lawyer, tapi menurut saya rekaman suara yang dipakai untuk meniru identitas seseorang jelas wilayah yang harus diperlakukan sangat hati-hati. Belum lagi risiko penipuan: suara bos yang "minta transfer" itu skenario yang sudah sering dibicarakan.

Satu hal positif: feature catalog VoiceStudio mencantumkan AI Watermark. Pakai fitur seperti ini kalau tersedia di engine kamu, dan tetap kasih label "suara AI" di konten publik.

Jebakan #3: MCP yang Terbuka ke Jaringan

Dokumentasinya bilang terang-terangan: transport MCP-nya tidak diautentikasi, jadi jangan diekspos ke internet terbuka.

Kalau mau diakses dari mesin lain, ada fitur sharing ke jaringan lokal dengan PIN. Tapi docs-nya sendiri mengingatkan dua hal:

  • Lewat HTTP biasa, PIN dikirim tanpa enkripsi. Pakai hanya di LAN yang dipercaya, atau lewat tunnel terenkripsi atau HTTPS.
  • Reverse proxy wajib punya autentikasi sendiri, karena request dari loopback bisa melewati gerbang PIN.

Bayangkan VPS kamu jalan VoiceStudio dengan /mcp/ terbuka. Siapa pun yang nemu bisa bikin audio pakai suara yang tersimpan di situ. Itu mimpi buruk, bukan fitur.

Diagram alur aman: AI agent ke MCP localhost, VoiceStudio bikin audio di base path, manusia approve, lalu publish dengan label suara AI
Diagram alur aman: AI agent ke MCP localhost, VoiceStudio bikin audio di base path, manusia approve, lalu publish dengan label suara AI

Setup Aman yang Saya Rekomendasikan

Kalau saya pasang ini untuk agent saya, aturannya begini:

  1. Bind ke localhost saja. Contoh Docker resminya sudah pakai -p 127.0.0.1:3900:3900. Pertahankan itu.
  2. Satu agent, satu client id, satu suara. Jangan biarkan agent memilih profile_id bebas.
  3. Jangan kasih agent harian akses cloning. Cloning itu pekerjaan manusia, sekali, dengan rekaman yang jelas izinnya. Docs-nya tidak menyebut cara mematikan tool satu per satu, jadi kalau MCP client kamu bisa allow-list tool, izinkan generate_speech saja. Kalau nggak butuh MCP sama sekali, ada OMNIVOICE_MCP_DISABLE=1.
  4. Set OMNIVOICE_MCP_BASE_PATH. Ini batas keamanan untuk file: agent cuma bisa baca dan tulis audio di folder itu.
  5. Draft dulu, kirim belakangan. Audio hasil agent masuk folder review, manusia yang putuskan dikirim atau tidak. Sama persis dengan prinsip AI sales agent yang boleh propose, tapi jangan kirim sendiri.
  6. Cek lisensi engine sebelum hasilnya dipakai untuk kerjaan berbayar.
bash
# contoh: jalankan lokal, hanya bisa diakses dari mesin ini
export OMNIVOICE_API_KEY="$(openssl rand -hex 32)"
docker run -d --name omnivoice \
  -p 127.0.0.1:3900:3900 \
  -e OMNIVOICE_API_KEY \
  -e OMNIVOICE_MCP_OUTPUT_MODE=files \
  -e OMNIVOICE_MCP_BASE_PATH=/app/omnivoice_data/agent-audio \
  -v omnivoice-data:/app/omnivoice_data \
  ghcr.io/debpalash/voicestudio:stable

Path base di atas cuma contoh. Pastikan folder itu terlihat oleh backend dan agent, seperti yang dijelaskan di docs.

Penutup

Suara adalah identitas. Begitu agent kamu bisa bicara pakai suara kamu, dia bukan lagi sekadar asisten yang nulis draft, tapi bisa "jadi kamu" di telinga orang lain.

Teknologinya sudah murah dan lokal. Yang mahal sekarang adalah disiplin: izin yang jelas, akses yang sempit, dan manusia yang tetap pegang tombol kirim.

Sama seperti pelajaran dari abliterated model: kalau rem di model bisa dicopot, pagar harus pindah ke sistem.

FAQ

Apa itu VoiceStudio?

Aplikasi open-source (AGPL-3.0) untuk voice cloning, voice design, dubbing, dan transkripsi yang jalan lokal di laptop, server, atau HP, dengan Local API dan MCP server bawaan.

Apakah AI agent seperti Hermes bisa pakai VoiceStudio?

Bisa. Dokumentasi MCP VoiceStudio memberi contoh config untuk Hermes Agent, Claude Code, Cursor, dan Codex CLI lewat endpoint /mcp/.

Apakah hasil suara VoiceStudio boleh dipakai komersial?

Tergantung engine. Aplikasinya AGPL-3.0, tapi weights OmniVoice (engine default) tercatat CC-BY-NC atau non-commercial. Cek lisensi tiap model sebelum dipakai untuk kerjaan berbayar.

Amankah membuka MCP VoiceStudio ke internet?

Tidak. Dokumentasinya menyebut transport MCP tidak diautentikasi. Bind ke localhost, atau pakai TLS plus autentikasi di LAN yang dipercaya.

Bolehkah clone suara orang lain?

Hanya dengan izin pemilik suaranya. Itu juga syarat yang ditulis di README VoiceStudio, dan sejalan dengan semangat UU PDP soal data biometrik.

Ada Pertanyaan? Yuk Ngobrol!

Butuh bantuan setup OpenClaw, konsultasi IT, atau mau diskusi project engineering? Book a call langsung — gratis.

Book a Call — Gratis

via Cal.com • WITA (UTC+8)

Newsletter

Subscribe to Newsletter

Artikel baru, automation notes, dan engineering insight. Clean inbox, no spam.

Dengan subscribe, kamu setuju menerima update seperlunya.

F
Zainul Fanani

Founder, Radian Group. Engineering & tech enthusiast.

Lihat profil lengkap →