agent-desktop: AI Agent Pakai Komputer Tanpa Nebak Piksel

Selama ini, kalau ada yang bilang "AI agent bisa pakai komputer", bayangan saya selalu sama: model lihat screenshot, nebak tombol di koordinat sekian, klik, lalu berharap layarnya nggak geser.
Kadang berhasil. Sering juga meleset satu tombol.
Buat demo, itu cukup. Buat kerja harian, itu bikin deg-degan. Agent yang salah klik "Delete" karena dialognya muncul 20 piksel lebih ke kanan bukan agent, itu undian.
Makanya saya tertarik waktu Chris Tate dari Vercel mengumumkan agent-desktop, yang dia sebut "agent-browser, for your whole computer". Idenya bukan bikin model makin jago menebak piksel. Idenya: berhenti menebak.
Apa Itu agent-desktop
agent-desktop adalah CLI dan C library dari Vercel Labs untuk macOS, Windows, dan Linux. Lisensinya Apache-2.0, ditulis dengan Rust, dan dipasang lewat npm (npm install -g agent-desktop). Rilis terbarunya saat saya cek adalah v1.0.2.
Cara kerjanya menarik. Alih-alih membaca layar sebagai gambar, agent-desktop membaca accessibility tree dari sistem operasi. Itu struktur yang sama yang dipakai screen reader untuk membantu tunanetra: daftar jendela, tombol, field teks, menu, lengkap dengan role dan namanya.
Hasil snapshot berupa JSON. Setiap elemen yang bisa diklik atau diisi dapat ref, misalnya @s8f3k2p9:e8. Agent lalu bertindak ke ref itu, bukan ke koordinat.
Menurut FAQ resminya, alur intinya tidak butuh screenshot atau pixel matching sama sekali. Screenshot tetap ada sebagai command terpisah, tapi bukan cara utama agent "melihat".
Loop-nya: Snapshot, Act, Snapshot Lagi
Ini bagian yang paling saya suka, karena cocok sekali dengan prinsip yang sering saya tulis: agent butuh loop, bukan cuma prompt.

Contoh dari README-nya kira-kira begini:
agent-desktop snapshot --app Finder -i # ambil elemen interaktif + ref
agent-desktop click @s8f3k2p9:e8 # klik ref dari snapshot tadi
agent-desktop snapshot --app Finder -i # cek lagi, beneran berubah?
Ada beberapa aturan kecil yang bikin loop ini jujur:
- Ref terikat ke snapshot-nya. Ref polos seperti
@e8ditolak denganINVALID_ARGS. Agent nggak bisa pakai ref basi dari ingatan. - UI berubah, aksi ditolak. Kalau tampilan sudah beda, aksi mengembalikan
STALE_REFatauAMBIGUOUS_TARGET. Agent harus snapshot ulang. - Retry ada aturannya. Setiap error membawa
code,disposition, dan biasanyasuggestion. Retry hanya boleh kalauerror.disposition.retrybernilaisafe. - Headless by default. Aksi lewat ref jalan via accessibility API tanpa menggerakkan pointer atau merebut fokus. Input fisik baru boleh dengan flag
--headed.
Poin keempat ini yang bikin klaim "jalan di background sambil kamu tetap kerja" masuk akal. Agent nggak rebutan mouse sama kamu.
Lesson: Agent yang bagus bukan yang paling yakin, tapi yang selalu mengecek ulang dunia sebelum dan sesudah bertindak.
Kenapa Accessibility Tree Lebih Masuk Akal daripada Piksel
Saya pernah menulis soal scraping Instagram, TikTok, dan Threads lewat browser login persisten. Pelajaran terbesarnya: otomasi yang tahan lama selalu bergantung ke struktur, bukan ke tampilan.
Di browser, struktur itu DOM. Di desktop, struktur itu accessibility tree.
Bedanya terasa di tiga hal:
Untuk aplikasi padat seperti Slack, README-nya menyarankan bikin peta dulu dengan snapshot --skeleton ... --compact, lalu drill ke satu region pakai --root. Itu pola yang sehat: lihat gambaran besar, lalu fokus.
Tentu ada batasnya. Aplikasi yang accessibility-nya jelek (custom canvas, game, sebagian app Electron yang malas) akan tetap susah. Itu bukan salah tool-nya, tapi kamu perlu tahu sebelum menjanjikan "agent bisa pakai semua aplikasi".
Isi Kotak Perkakasnya
README menyebut ada 60 nama command, dengan 56 yang operasional. Empat sisanya (key-down, key-up, mouse-down, mouse-up) sengaja menolak jalan sampai ada daemon yang bisa melepas tombol yang ditahan. Saya suka keputusan ini. Lebih baik fitur ditahan daripada agent meninggalkan tombol Shift "nyangkut" di komputermu.

Grup terbesar adalah "act on a ref" (16 command: click, type, set-value, toggle, scroll, dan seterusnya). Itu masuk akal, karena desainnya memang mendorong agent bertindak lewat ref.
Dukungan platformnya juga ditulis jujur. Accessibility tree jalan di ketiga OS (Linux lewat AT-SPI). Tapi di Linux, mouse input butuh X11 dan --headed, screenshot di Wayland lewat portal, dan beberapa fitur window control hanya di X11. Kalau kamu mau pasang di server Linux, baca dulu tabel platformnya.
Banyak Agent, Satu Komputer
Klaim di pengumumannya: beberapa agent bisa pakai komputer yang sama secara paralel, masing-masing dengan cursor sendiri.
Dokumen CONCEPTS.md menjelaskan detailnya. Dengan session start --cursor --multi-agent, setiap subagent dapat --agent-id sendiri dan cursor overlay sendiri. Tapi cursor itu cuma tampilan. Input fisik tetap diantrekan lewat "interaction lease" di pointer OS yang sama. Jadi cursor-cursor itu bisa bergerak bersamaan, tapi aksinya tetap bergiliran.
Ini detail penting yang sering hilang di thread hype. "Paralel" di sini artinya bisa dilihat bersamaan dan aman diantrekan, bukan lima agent mengetik di lima field pada milidetik yang sama.
Ada juga fitur session dan trace: setiap session menyimpan snapshot dan log JSONL, plus opsi screenshot sebelum dan sesudah aksi. Buat saya ini fitur paling penting untuk bisnis. Seperti yang saya tulis di AI agent harus bisa diaudit, agent yang menyentuh komputer kerja harus meninggalkan jejak.
Bagian yang Wajib Kamu Seriusi: Privasi
README-nya sendiri memperingatkan: snapshot, isi clipboard, screenshot, output command, dan artefak debug bisa berisi konten pribadi dari desktopmu. Jangan taruh di log publik atau upload sembarangan.
FAQ-nya menambahkan dua hal yang menurut saya krusial:
- Trace session bisa tetap menyimpan artefak bukti walaupun field terstruktur sudah di-redact. Redaction nggak membuat screenshot aman dipublikasikan.
- CLI native-nya tidak butuh layanan model remote. Tapi helper opsional bernama JEV mengirim tujuan dan deskripsi layar ke provider model yang kamu konfigurasi.
Artinya, begitu agent bisa membaca seluruh desktop, dia bisa membaca email, chat, dokumen keuangan, apa pun yang sedang terbuka. Itu kekuatan sekaligus risiko yang sama besarnya.
Prinsip yang saya pakai untuk agent di ERP berlaku juga di sini: siapa pegang kunci, boleh melakukan apa, dan siapa yang approve.
Cara Saya Akan Memakainya
Kalau saya pasang agent-desktop di workflow sendiri, aturannya kira-kira begini:
- Mulai dari akun atau mesin terpisah. Jangan langsung di laptop utama yang terbuka WhatsApp, banking, dan email pribadi.
- Batasi ke satu aplikasi dulu. Pakai
--appdan--window-id. Agent nggak perlu lihat seluruh desktop untuk mengisi satu form. - Tetap headless.
--headedhanya untuk kasus yang benar-benar butuh input fisik. - Aksi berisiko tetap lewat approval manusia. Kirim, bayar, hapus: agent siapkan, manusia yang klik terakhir. Sama dengan pola AI employee yang cuma boleh draft.
- Simpan trace, tapi perlakukan seperti data sensitif. Berguna untuk audit, berbahaya kalau bocor.
Use case yang menurut saya paling masuk akal untuk bisnis kecil di Indonesia: aplikasi desktop lama yang nggak punya API. Software akuntansi offline, aplikasi pajak, tool vendor yang cuma jalan di Windows. Selama ini pilihannya input manual atau RPA mahal. Accessibility tree membuka jalan tengah.
Penutup
agent-desktop bukan sulap. Dia nggak bikin model lebih pintar. Yang dia lakukan lebih membosankan dan justru lebih berharga: memberi agent cara melihat aplikasi yang terstruktur, menolak aksi kalau dunia sudah berubah, dan memberi tahu kapan retry itu aman.
Itu yang membedakan demo dari alat kerja.
Agent yang pakai komputer akan makin umum. Pertanyaannya bukan lagi "bisa atau nggak", tapi "apakah kita bisa mengecek apa yang dia lakukan".
FAQ
Apa itu agent-desktop?
CLI dan C library open source dari Vercel Labs (Apache-2.0) yang memberi AI agent kemampuan computer use di macOS, Windows, dan Linux lewat accessibility tree sistem operasi.
Apakah agent-desktop butuh screenshot?
Tidak untuk alur utamanya. Agent membaca snapshot JSON berisi elemen dan ref. Screenshot tersedia sebagai command terpisah.
Apa bedanya dengan agent-browser?
agent-browser fokus ke otomasi browser, sedangkan agent-desktop menyasar aplikasi desktop di seluruh sistem operasi.
Apakah bisa jalan di Linux server?
Bisa dengan catatan: butuh sesi grafis user dengan at-spi2-core, dan beberapa fitur seperti mouse input dan window control bergantung ke X11.
Apakah aman dipakai di laptop kerja?
Aman atau tidaknya tergantung batas yang kamu pasang. Snapshot dan trace bisa berisi data pribadi, jadi mulai dari mesin terpisah, batasi ke satu aplikasi, dan wajibkan approval untuk aksi berisiko.
← Artikel Sebelumnya
AI Employee Jam 5 Pagi: Kerjain Admin Owner, Tapi Cuma Boleh Draft
Artikel Selanjutnya →
Tim AI Agent Juga Bisa Drift: 4 Kebiasaan Ops yang Wajib
Baca Juga
Ada Pertanyaan? Yuk Ngobrol!
Butuh bantuan setup OpenClaw, konsultasi IT, atau mau diskusi project engineering? Book a call langsung — gratis.
Book a Call — Gratisvia Cal.com • WITA (UTC+8)
Newsletter
Subscribe to Newsletter
Artikel baru, automation notes, dan engineering insight. Clean inbox, no spam.
Dengan subscribe, kamu setuju menerima update seperlunya.



