Enam bulan yang lalu, salah satu agen AI kami menghabiskan empat puluh ribu token, menulis ringkasan yang jelas menyatakan tugas selesai, dan kemudian gagal dalam setiap tes di suite.
Empat puluh ribu token kegagalan yang percaya diri, artikulatif, dan terstruktur dengan baik.
Insting — insting setiap orang — adalah untuk menulis ulang prompt. Tambahkan "pastikan tes berhasil." Beralih ke model yang lebih kuat. Perketat instruksi. Kita semua pernah melakukannya. Dan hampir setiap kali, itu adalah langkah yang salah.
Masalahnya bukan pada prompt. Masalahnya ada di lapisan di bawahnya.
TL;DR:Kegagalan agen AI adalah kegagalan arsitektur sebelum menjadi kegagalan prompting. Setiap sistem agen AI yang dapat diandalkan dibangun di atas empat lapisan — Loop, Graph, Harness, Meta-harness — dan "prompt yang lebih baik tidak dapat meng补偿 kemampuan yang hilang." Namun, rekayasa prompt masih merupakan bagian dari solusi: itu adalah 5% terakhir yang Anda terapkansetelahlapisan-lapisan tersebut baik, bukan hal pertama yang Anda capai/ pelajari ketika mereka tidak baik. Kami menjalankan ~18 miliar token sebulan di tumpukan ini — tumpukan yang sama yang menjalankan pengiriman SEO dan GEO Mercury — dengan biaya sekitar 7 sen per juta token yang dicampur. Angka itu adalah pencapaian arsitektur, bukan pencapaian prompting.
Saya James, CEO Mercury Technology Solutions. Dari kantor saya di Hong Kong, saya menjalankan konsultasi AI di mana agen AI melakukan pekerjaan produksi nyata — pengkodean aplikasi, saluran konten, audit GEO, deliverables SEO, pelaporan klien — dan saya telah belajar dengan cara yang sulit bahwa perbedaan antara demo dan sistem tidak pernah terletak pada model. Itu adalah tumpukan di sekitar model. Tumpukan ini juga mengapa transformasi digital di Mercury berarti membangun kembali lapisan di sekitar model AI, bukan hanya membeli akses ke dalamnya.
Agen AI yang Berbohong kepada Saya
Inilah yang sebenarnya hilang dari agen AI yang gagal itu.
Ia tidak memiliki loop verifikasi. Tidak ada yang di lingkungannya yang memeriksa pekerjaannya. Ia menulis kode, "merasa" selesai, dan melaporkan keberhasilan — karena dari dalam jendela konteksnya, keberhasilan dan keyakinan akan keberhasilan tidak dapat dibedakan. Model tersebut tidak berbohong. Ia benar-benar tidak bisa membedakan perbedaannya.
Tidak ada perbaikan prompt yang bisa mengatasi itu. Anda bisa menulis "verifikasi pekerjaan Anda" sampai jari-jari Anda berdarah, tetapi jika alat AI tidak pernah mengekspos penguji, agen tersebut meminta seorang buta untuk memeriksa pencahayaan.
Ini jelas setelah Anda melihatnya. Kegagalan bukan terletak pada penalaran. Itu terletak pada arsitektur yang mengelilingi penalaran.
Empat Lapisan
Setiap sistem agen AI yang dapat diandalkan yang telah saya bangun atau pelajari terurai menjadi empat lapisan. Lewati satu, dan kegagalan akan muncul kemudian dengan penulisan ulang prompt yang terlampir, yang seperti mengecat ulang dinding untuk memperbaiki retakan fondasi.
Lapisan 1: The Loop — ulangi sampai bukti mengatakan berhenti.Agen AI bertindak, memeriksa hasil, dan baik berhenti atau mencoba lagi. Keputusan desain yang kritis adalah siapa yang memutuskan penyelesaian. Agen yang dapat diandalkan berhenti ketika sebuah tes lulus, sebuah build berhasil, sebuah output divalidasi — bukti eksternal, bukan kepercayaan internal. Model percaya. Loop memverifikasi.
Lapisan 2: The Graph — putuskan apa yang dijalankan selanjutnya.Loop memutuskan apakah eksekusi dilanjutkan; grafik memutuskan di mana itu pergi. Cabang, percobaan ulang, penyerahan spesialis, jalur cadangan, status bersama. Setelah sebuah alur kerja memiliki lebih dari satu rute yang mungkin, Anda perlu pengaturan rute yang eksplisit dan dapat diperiksa — tidak diimprovisasi di dalam konteks model pada setiap kali jalankan.
Lapisan 3: The Harness — menjadikan model AI operasional. Alat, API, file, memori, izin, konteks, pencatatan. Di sinilah rekayasa yang tidak glamor berada, dan di sinilah sebagian besar kegagalan agen AI sebenarnya berasal. Kemampuan model dan kemampuan agen adalah kuantitas yang berbeda. Model AI mungkin memahami dengan tepat bagaimana menyelesaikan tugas; jika harness tidak pernah mengekspos alat atau izin, tugas itu mati di sana.
Lapisan 4: The Meta-harness — mengatur banyak harness. Operasi nyata menjalankan banyak agen: agen pengkodean, agen penelitian, spesialis domain, masing-masing dengan alat dan kebijakan sendiri. Meta-harness adalah lapisan umum di atas mereka — orkestrasi, pemerintahan, isolasi, memori bersama, portabilitas konteks. Tanpanya, Anda tidak memiliki armada. Anda memiliki silo yang kebetulan berbagi kantor.
Singkatnya: loop membuat pekerjaan dapat diverifikasi, grafik membuat alur kerja terstruktur, harness membuat model operasional, dan meta-harness membuat armada dapat dikelola.
Sekarang, Heresy: Rekayasa Prompt Masih Penting
Di sinilah saya berpisah dengan para puris yang membaca "arsitektur pertama" sebagai "rekayasa prompt sudah mati."
Omong kosong. Rekayasa prompt itu nyata, dan pada skala besar itu bernilai uang nyata. Tetapi nilainya memiliki kondisi urutan yang kebanyakan tim salah paham.
Anggaplah ini sebagai sebuah persamaan:
Output agen AI = (Kemampuan lapisan) × (Efisiensi prompt)
Perkalian, bukan penjumlahan. Jika kemampuan lapisan mana pun nol — tidak ada loop verifikasi, tidak ada rute, tidak ada alat, tidak ada tata kelola — produk tersebut adalah nol, dan tidak ada pengali prompt yang dapat menyelamatkannya. Tetapi setelah lapisan-lapisan tersebut solid, prompt adalah pengali yang menentukan seberapa efisienmodel menggunakan apa yang telah diberikan. Menyetel 1.2 hingga 1.4 pada tumpukan yang sehat akan mengompound. Menyetelnya pada tumpukan yang rusak adalah seperti menggosok kuningan di kapal yang tenggelam.
Hentikan menulis ulang prompt untuk mengkompensasi lapisan yang hilang. Mulailah menyetel prompt untuk memanfaatkan yang lengkap.
Bukti 18 Miliar Token: Ekonomi AI Generatif dalam Skala
Biarkan saya menjelaskan ini dengan angka kami sendiri, karena di sinilah teori membayar sewa.
Armada agen AI kami memproses sekitar 18 miliar token per bulan — pekerjaan AI generatif pada skala produksi, bukan demo. Dijual melalui API premium dengan harga daftar standar, volume itu akan berkisar antara $20.000 dan $200.000 USD per bulan, tergantung pada tingkat model. Pengeluaran aktual kami sekitar $1.200 — tarif campuran sekitar $0,07 per juta token.
Model yang sama. Tugas yang sama. Dua urutan besaran perbedaan. Dari mana penghematan itu berasal?
Tidak dari trik prompt. Promptnya baik-baik saja, tetapi mereka tidak melakukan pekerjaan berat. Lihat di mana uang sebenarnya bergerak:
Loop membunuh pemborosan terbesar: kegagalan yang percaya diri.Sebelum penyelesaian yang dibatasi bukti, agen AI kami akan menghasilkan output yang tampak masuk akal tetapi gagal di hilir, memicu siklus tinjauan manusia dan pengulangan penuh — setiap satu dari mereka adalah pembakaran token murni. Gerbang uji yang menghentikan jalannya AI yang buruk pada token 8.000 alih-alih token 80.000 adalah, secara fungsional, diskon 90% untuk kegagalan. Verifikasi bukanlah overhead. Ini adalah token termurah yang akan Anda habiskan, karena mereka mencegah yang mahal.
Grafik mengarahkan pekerjaan ke model yang cukup murah.Kelas tugas dipetakan ke model AI: ekstraksi rutin berjalan pada model lokal kecil, penyusunan pada model menengah, dan model frontier yang mahal hanya menyentuh keputusan yang benar-benar membutuhkannya. Tidak ada satu prompt pun yang membuat model kecil memadai untuk tugas yang sulit — itu adalah keputusan pengalihan, dibuat sekali, di grafik. Satu lapisan ini adalah sebagian besar dari celah dua urutan magnitudo antara kami dan harga API ritel.
Pengikat membuat pilihan model tidak relevan untuk desain tugas.Karena alat, memori, dan izin hidup di dalam pengikat, mengganti model AI — Claude untuk Gemini, GPT untuk model lokal — tidak mendesain ulang pekerjaan. Kami memperlakukan model AI seperti komponen yang dapat diganti — karena memang demikian. Pengikat adalah soket; model adalah bohlam. Tim yang mengkodekan kemampuan ke dalam prompt membeli soket baru setiap kali pasar bohlam bergerak.
Pengikat meta mengamortisasi semuanya di seluruh armada.Memori bersama, kebijakan bersama, standar verifikasi bersama. Agen kedua belas yang kami terapkan tidak membayar biaya pengaturan dari yang pertama, karena lingkungannya diwarisi, bukan dibangun kembali. Ekonomi meta-harness adalah alasan mengapa biaya marginal agen kami berikutnya cenderung menuju nol.
Sekarang perhatikan apa yang dilakukan rekayasa prompt dalam sistem ini: ia menyetel pemanfaatan di dalam setiap lapisan — instruksi yang lebih ketat berarti lebih sedikit loop percobaan ulang, sinyal pengaturan yang lebih bersih, keluaran pertama yang lebih baik dari setiap model AI dalam armada. Keuntungan nyata, persentase satu digit, terakumulasi. Tetapi dua urutan besaran berasal dari lapisan. Meminta adalah penyesuaian halus pada instrumen yang sudah dibangun oleh arsitektur.
Versi interaktif dari tumpukan ini ada di situs kami — loop yang gagal melakukan pemeriksaan dan mencoba ulang adalah seluruh tesis dalam satu animasi.
Apa Hubungannya Ini Dengan SEO dan GEO?
Segala sesuatu, jika visibilitas AI adalah bagian dari bisnis Anda.
Penawaran inti Mercury adalah membantu perusahaan menangkap prospek yang terlewat antara sistem AI dan manusia — yang mencakup membuat merek dapat dikutip di dalam jawaban AI generatif, bukan hanya peringkat Google. Setiap audit GEO yang kami kirim, setiap hasil SEO, setiap aset jawaban yang kami bangun untuk klien dihasilkan oleh tumpukan AI empat lapis yang sama.
Itu bukan kebetulan; itu adalah ekonomi. GEO pada skala perusahaan berarti ratusan kueri yang diuji di ChatGPT, Perplexity, Gemini, dan Claude — pekerjaan yang repetitif, terstruktur, dan berat verifikasi. Tanpa empat lapisan tersebut, beban kerja itu tidak terjangkau dengan harga token ritel. Dengan mereka, audit sitasi yang akan membuat bangkrut toko yang hanya menggunakan prompt adalah rutinitas bulanan. Tumpukan inilah yang memungkinkan kami menjanjikan pekerjaan visibilitas AI dengan margin tetap.
Jadi ketika klien perusahaan bertanya mengapa sitasi AI mereka usang atau merek mereka tidak terlihat oleh LLM, jawabannya mengikuti disiplin yang sama: jangan menulis ulang prompt. Temukan lapisan tersebut. Itu adalah jawaban yang sama apakah sistemnya adalah agen pengkodean atau program SEO dan GEO perusahaan secara keseluruhan — dan itu adalah dasar yang dibangun Mercury untuk sistem klien.
Disiplin Triage
Berikut adalah takeaway operasional. Ketika agen AI berkinerja buruk, ajukan empat pertanyaan sebelum Anda menyentuh satu prompt:
- Loop: Apakah ada tes, build, atau validasi yang benar-benar menghalangi penyelesaian — atau apakah agen menilai pekerjaan rumahnya sendiri?
- Graf: Apakah cabang, percobaan ulang, dan penyerahan eksplisit — atau diimprovisasi per jalannya?
- Harness: Apakah lingkungan tersebut mengekspos alat, sumber data, dan izin yang diperlukan untuk tugas tersebut?
- Meta-harness: Dapatkah agen Anda berbagi kebijakan dan konteks — atau apakah mereka N silo yang tidak terkoordinasi?
Hanya ketika semua empat jawaban adalah "ya" maka prompt menjadi variabel dengan pengaruh tertinggi yang tersisa. Itu bukan penurunan rekayasa prompt. Itu adalah promosinya — dari alat bantu menjadi pengganda.
Yang Wen-li memenangkan kampanye dengan memperbaiki logistik sementara semua orang lainnya mempelajari taktik. AI yang berdaya adalah perang yang sama. Lapisan-lapisannya adalah jalur pasokan. Prompt adalah buku panduan lapangan.
Bangun lapisan-lapisannya. Kemudian sesuaikan prompt AI. Dalam urutan itu — selalu.
Mercury Technology Solutions: Percepat Digitalitas.
