Pando Git OpenAI Rilis: Rahasia Monorepo Kuat Dihajar Ribuan Agen AI

Kenapa Git Biasa Kewalahan Hadapi Ribuan AI Agent Codex?

Sebelum Pando hadir, monorepo OpenAI mengalami kendala reliabilitas yang lumayan parah. Saat developer manusia dan agen Codex bekerja beriringan, satu engineer bisa punya banyak draf kode yang siap dites di continuous integration (CI) sekaligus. Setiap satu push kode masuk, sistem CI langsung memicu puluhan job paralel yang semuanya butuh download commit yang sama.

Akibatnya, antrean fetch dan push jadi lambat banget. Penggabungan cabang (merge) sering gagal, sampai-sampai tingkat reliabilitas sistem sempat drop di bawah 90%. Beban kerja agen AI ternyata punya pola yang beda jauh dibanding kebiasaan developer manusia biasa:

1. Intensitas push super tinggi: Agen AI nggak butuh rehat ngopi; mereka bisa nulis kode, commit, dan push ratusan branch dalam hitungan menit.
2. Fetch bersamaan dalam jumlah masif: Lingkungan riset, CI runner, dan server testing meminta commit yang persis sama di detik yang bersamaan.
3. Monorepo kian tambun: Dengan jutaan branch yang aktif, proses negosiasi Git standar kehabisan napas cuma buat ngasih tahu daftar ref ke client.

OpenAI menyadari bahwa masalahnya bukan pada Git sebagai antarmuka, melainkan cara server mengelola penyimpanan objek dan referensi di baliknya. Mereka tetap pengin mempertahankan Git supaya alur kerja tim nggak berubah, tapi backend-nya wajib dirombak total dari nol.

Kebutuhan merombak sistem penyimpanan data berskala besar ini sejalan dengan fokus riset infrastruktur internal OpenAI lainnya, seperti yang mereka bagikan pada pembahasan teknis penyimpanan data berskala masif sebelumnya.

3PC vs WAL vs Pando: Perbandingan Solusi Scaling Git

Sebelum memutuskan bikin Pando, tim insinyur OpenAI sempat menguji dua pola arsitektur umum yang biasa dipakai buat membesarkan kapasitas Git: Three-Phase Commit (3PC) dan Write-Ahead Log (WAL) berbasis blob storage.

Keduanya ternyata punya kelemahan fatal kalau dihantam beban agen AI berskala ribuan:

• Three-Phase Commit (3PC): Setiap ada push, paket data (packfile) dikirim ke seluruh replika. Koordinator butuh persetujuan mayoritas sebelum branch diperbarui. Akibatnya, disk server cepat jenuh karena antrean replikasi dan latensi push melonjak drastis.
• Write-Ahead Log (WAL): Semua update branch dicatat ke manifest tunggal di blob storage lewat mekanisme compare-and-swap (CAS). Meskipun packfile bisa diunggah paralel, semua branch yang nggak ada hubungannya tetap harus antre mengupdate manifest yang sama. Replikasi lokal pun gampang tertinggal dari aliran log yang masuk.

Berikut perbandingan ringkas antara pendekatan konvensional dan arsitektur Pando:

Dari pengujian simulasi terhadap 1.000 client yang terus-menerus melakukan push paralel, 3PC kedodoran di latensi tulis karena disk jebol, sedangkan WAL keteteran di latensi baca. Pando berhasil lepas dari dua jebakan ini.

Cara Kerja Arsitektur Pando: Causal Consistency dan Packfile Reuse

Kunci sukses Pando terletak pada keberanian OpenAI meninjau ulang dua asumsi lama di dunia Git: keharusan konsistensi menyeluruh di seluruh repo (repository-wide consistency) dan kebiasaan bikin packfile unik untuk tiap client yang melakukan fetch.

Pando menggantinya dengan model konsistensi kausal (causal consistency). Di sistem ini, pembaruan tiap branch berjalan independen. Dua developer atau dua agen AI yang nge-push ke branch berbeda nggak bakal saling ganggu atau mengunci antrean satu sama lain. Kamu cuma bakal bentrok kalau mencoba nge-push ke branch yang persis sama di waktu bersamaan.

Saat agen AI nge-push kode:

1. Pando menerima packfile dan langsung mengalirkannya (streaming) ke blob storage tanpa perlu membongkar (unpack) isinya ke repositori lokal.
2. Pando memvalidasi data push cukup dengan satu kali proses dekode (single-pass decode).
3. Metadata store mencatat versi referensi baru dan memperbarui pointer ref secara atomik lewat transaksi multi-key dengan kompleksitas O(1).
4. Sistem menjamin konsistensi read-your-own-write, jadi agen yang baru nge-push bisa langsung membaca kembali perubahannya saat itu juga.

Selain itu, Pando membatasi daftar branch yang diiklankan ke client saat proses negosiasi push. Di repo raksasa dengan jutaan branch, daftar ref iklan Git biasa bisa bengkak di atas 100 MiB. Pando cuma mengiklankan branch utama (trunk) sebagai basis. Dampaknya, ukuran packfile yang dikirim client sangat konsisten: nilai tengahnya (median) di bawah 20 KiB, dan persentil ke-99 tetap di bawah 3 MiB.

Kecepatan Tembus 10 Gbps: Peran Express Cache dan packfile-uri

Masalah terbesar Git saat melayani ribuan pembaca (fetch) adalah beban komputasi CPU. Biasanya, server Git harus menghitung perbedaan objek antara commit yang dipunyai client dan commit yang diminta, lalu memampatkannya ulang jadi file kompresi baru. Kalau ada ratusan worker CI meminta data barengan, server Git konvensional bakal langsung tumbang.

Pando membalik logika tersebut. Server Pando nggak bikin packfile baru pas ada yang fetch. Mereka memanfaatkan fitur protokol Git bernama packfile-uri. Alih-alih mengirim seluruh bodi kode di dalam koneksi HTTP utama, server Pando cuma mengirim respons kosong bersama daftar tautan URI ke packfile yang udah tersimpan rapi di blob store.

Untuk mempercepat unduhan, OpenAI membangun layanan cache regional bernama Express:

• Express menyimpan cache blob store dan metadata store di berbagai wilayah geografis fasilitas OpenAI.
• Permintaan packfile diarahkan ke server Express menggunakan algoritma consistent hashing.
• Rasio keberhasilan cache (cache hit rate) Express tembus di atas 99%.

Kombinasi packfile-uri dan Express bikin proses fetch dan clone di mesin virtual biasa sanggup memaksimalkan bandwidth jaringan sampai mentok di batas 10 Gbps. Bahkan, Pando tercatat pernah menyalurkan lebih dari 57 terabyte data packfile Git cuma dalam satu jam, di mana 99% datanya langsung dilayani dari cache disk lokal tanpa membebani server inti.

Kemampuan melayani trafik luar biasa ini membuktikan pentingnya arsitektur cache terdistribusi yang matang, mirip dengan pemaparan lanjutan tim OpenAI mengenai arsitektur storage berskala petabyte.

Mekanisme Compaction: Mirip Log-Structured Merge-Tree

Kalau tiap push menghasilkan packfile mandiri berukuran kecil, bukankah lama-lama client harus download ribuan file cuma buat ngejar branch utama? Di repo yang super aktif, client bisa-bisa harus mengunduh puluhan ribu packfile per hari.

Buat mengatasi masalah penumpukan ini, Pando menerapkan teknik compaction yang diadopsi dari struktur data LSM-tree (Log-Structured Merge-tree):

1. Setiap push menghasilkan packfile level dasar yang disebut L0.
2. Proses pekerja di latar belakang (background workers) mengelompokkan packfile L0 menjadi rentang yang lebih besar, membesar secara geometris hingga level L4.
3. Begitu wadah penampung penuh, worker menggabungkannya jadi satu packfile tunggal yang lebih padat dan efisien rasionya.
4. Kumpulan level packfile ini berfungsi mirip skip list. Saat client meminta riwayat pembaruan, Pando bisa memindai indeks tiap level sekaligus dan menentukan paket data yang dibutuhkan client dalam waktu logaritmik (O(logΔ)).

Menariknya, Pando nggak pernah membuang atau menjalankan pembersihan sampah (garbage collection) pada packfile di tiap level. Semua packfile dari L0 sampai L4 tetap dipertahankan buat melayani berbagai kebutuhan client dengan cepat.

Dibangun 10 Minggu Pakai Codex dan Diverifikasi GPT-6 Astra

Salah satu fakta paling mencengangkan dari proyek ini adalah cara pembuatannya. Pando dirancang intinya oleh satu orang insinyur saja, lalu diimplementasikan oleh tim agen Codex, dan dideploy oleh segelintir insinyur dalam waktu cuma 10 minggu.

Sistem ini ditulis murni menggunakan bahasa pemrograman Rust tanpa ketergantungan warisan (legacy dependencies). Buat memastikan kodenya aman dan nggak bikin data repo rusak, tim OpenAI menerapkan metode pengujian ketat:

• Conformance Test Suite: Agen AI menjalankan serangkaian tes kepatuhan buat memastikan perilaku Pando 100% cocok dengan standar klien Git publik.
• Deterministic Simulation Testing: Simulasi deterministik dijalankan buat mendeteksi potensi race condition dan regresi performa pada algoritma seleksi packfile.
• Verifikasi Formal dengan GPT-6 Astra: Agen AI memanfaatkan model frontier GPT-6 Astra buat menulis pembuktian formal dalam bahasa Lean dan TLA+. Teori matematika Pando dibuktikan secara absolut sebelum masuk fase produksi untuk menutup celah edge case.
• Continuous Red-Teaming: Agen AI lain berbasis model Daybreak dikerahkan nonstop 24 jam buat menyerang dan mencari celah keamanan pada Git dan Pando.

Pando mulai melayani trafik produksi sejak April 2026. Awalnya sistem ini dipasang sebagai proxy read/write-through di depan sistem lama, sampai akhirnya seluruh beban kerja dan ratusan integrasi webhook dialihkan penuh ke Pando.

Pendekatan teknik berbasis AI dan keandalan data ini merupakan bagian dari perombakan arsitektur besar-besaran yang terus diuji OpenAI di berbagai layanan mereka, termasuk sistem pendukung aplikasi pengguna langsung.

Kontribusi Balik OpenAI ke Komunitas Open Source Git

OpenAI nggak mengunci inovasi ini di menara gading. Selama proses riset dan deployment Pando, mereka menemukan berbagai celah bug serta peluang optimalisasi di kode sumber Git itu sendiri.

Sebagian besar peningkatan tersebut sudah disumbangkan kembali (upstreamed) ke proyek Git publik, dan sisanya dibagikan lewat repositori publik OpenAI Git:

• Perbaikan packfile-uri: Menambal bug unduhan paralel, penanganan transfer yang terputus, dan validasi paket data yang sudah ada di lokal.
• Tracing dan Telemetri: Menambahkan pelacakan metrik unduhan packfile-uri dan penghitungan byte pembentukan paket biar developer tahu apakah latensi lambat disebabkan oleh jaringan atau komputasi.
• Konsep Explicit Haves: Fitur baru yang memungkinkan server mengiklankan ujung branch secara terpisah dari riwayat dasar, sehingga perintah --force-with-lease tetap bisa dipakai optimal barengan dengan trunk caching.
• Unduhan Paralel Klien: Klien Git build OpenAI kini sanggup mendownload dan mengindeks banyak packfile independen secara paralel di mesin lokal.

Dampak Nyata Buat Developer dan Tim Engineering di Indonesia

Peluncuran Pando memberikan gambaran nyata soal masa depan industri software engineering. Di Indonesia, tren adopsi agen AI untuk ngoding mandiri mulai terasa, baik di startup teknologi maupun tim IT korporat. Kalau kamu memimpin tim developer atau berkecimpung di dunia DevOps, ada beberapa pelajaran penting dari inovasi ini:

1. Antisipasi Ledakan Volume Commit AI

Saat tim kamu mulai memakai asisten koding otomatis atau framework agen cerdas, jumlah branch dan pull request bakal melonjak berkali-kali lipat. Arsitektur Git internal perusahaan yang biasanya adem ayem bisa mendadak mengalami bottleneck I/O. Memahami pemisahan konsistensi dan pemanfaatan cache packfile ala Pando bakal jadi skill berharga buat tim platform engineering.

2. Kolaborasi Agen AI dan Manusia Makin Nyata

Kisah sukses satu insinyur yang memimpin tim agen Codex dalam membangun backend Rust level produksi membuktikan bahwa peran developer kini bergeser dari sekadar ngetik sintaks menjadi arsitek sistem dan penilai spesifikasi. Mau belajar gimana cara mengorkestrasi agen AI buat ngerjain tugas teknis yang kompleks? Kamu bisa intip materi praktisnya di kelas AI untuk Developer.

3. Eksplorasi Model AI Canggih untuk Verifikasi Kode

Penggunaan model penalaran mendalam seperti GPT-6 Astra buat nulis spesifikasi TLA+ dan Lean menunjukkan bahwa model kelas atas sangat krusial buat rekayasa software tingkat tinggi. Buat kamu yang pengin menguji kemampuan model frontier OpenAI tanpa pusing urusan tagihan kartu kredit dollar, kamu bisa langsung mencoba Classai Router.

Lewat satu API key yang kompatibel penuh dengan SDK OpenAI, kamu bisa memanggil model canggih seperti gpt-6-astra seharga Rp9.720 (input) dan Rp48.600 (output) per 1 juta token, atau model kerja harian seperti gpt-4o (Rp525 / Rp2.700 per 1M token) dan paket hemat coding-us-auto (Rp4.500 / Rp22.500 per 1M token). Semua saldo dibayar pakai rupiah via QRIS atau transfer bank lokal tanpa biaya langganan bulanan.