SOCI SageMaker AI AWS Rilis: Container Jalan Hitungan Detik

Masalah Klasik: Image Deep Learning Raksasa Bikin Boncos

Selama ini, setiap kali kamu ngejalanin Amazon SageMaker AI training atau processing job, sistem bakal narik container image dari Amazon Elastic Container Registry (Amazon ECR). Sebelum script kamu jalan sebaris pun, SageMaker harus mendownload seluruh image ke instance, mengekstrak setiap lapisannya (layer), lalu menulis semuanya ke disk penyimpanan.

Kalau image kamu ukurannya kecil, proses ini emang cuma butuh beberapa detik. Masalahnya, image deep learning modern itu gedenya minta ampun, sering kali nembus lebih dari 10 GB bahkan sampai puluhan gigabyte karena isinya penuh framework berat kayak PyTorch, TensorFlow, driver CUDA, dan berbagai library pelengkap.

Download berukuran jumbo ini nambah durasi bermenit-menit di setiap job. Hal ini paling kerasa sakitnya pas kamu lagi ngelakuin eksperimen cepat atau hyperparameter tuning sweeps yang butuh ratusan job sekaligus. Kamu membayar biaya komputasi GPU yang mahal cuma buat nungguin proses download data selesai.

Apa Itu Seekable OCI (SOCI) dan Cara Kerjanya di SageMaker AI?

Seekable OCI atau Seekable OCI (SOCI) adalah teknologi open source yang bikin container runtime bisa ngelakuin lazy loading pada image. Alih-alih mendownload seluruh isi image di awal sebelum container menyala, runtime membaca indeks SOCI buat mengambil file-file krusial yang dibutuhin buat startup awal aja.

Begitu file penting itu terambil, container langsung jalan seketika. Sisa file lainnya bakal dialirkan (streaming) di latar belakang sambil kode aplikasimu mulai berjalan. Indeks SOCI ini sendiri berbentuk metadata yang memetakan setiap file di dalam container image kamu.

Indeks ini disimpan di Amazon ECR sebagai artefak yang sesuai standar OCI dan terhubung langsung ke image asli kamu. Karena disimpan sebagai artefak terpisah, digest image dan tanda tangan digital (signature) yang udah kamu punya sebelumnya tetap aman dan nggak bakal berubah.

SageMaker AI sekarang punya sistem pengecekan otomatis setiap kali kamu bikin training atau processing job:

Karena ada sistem fallback otomatis ini, menambahkan indeks SOCI nggak bakal bikin alur kerja yang udah ada jadi rusak atau gagal jalan.

Hasil Benchmark AWS: Seberapa Kencang Peningkatannya?

AWS ngelakuin pengujian mendalam dengan membandingkan standard Docker pull vs SOCI lazy loading pada job training nyata di SageMaker AI. Pengujian ini memakai delapan ukuran image berbeda (mulai dari 1,8 GB sampai 35,4 GB) pada berbagai tipe instance GPU dan CPU, seperti ml.g4dn, ml.g5, ml.g6, ml.g6e, ml.g7, ml.g7e, ml.p4d, ml.p5, hingga ml.m7i di Region US West (Oregon) dan US East (N. Virginia).

Waktu download dihitung dari awal image ditarik sampai container siap mengeksekusi kode. Berikut ringkasan perbandingannya:

Pada download standar biasa, durasi download melonjak tajam seiring makin gedenya ukuran image karena semua file harus diekstrak utuh. Sebaliknya, lazy loading SOCI konsisten stabil di angka 3 sampai 11 detik aja di semua ukuran image. Rasio kecepatannya melonjak antara 8x sampai 46x lebih cepat dibanding cara lama.

AWS juga menguji image 13,2 GB di 13 kombinasi tipe dan ukuran instance yang berbeda. Hasilnya, download standar butuh waktu antara 3 menit 16 detik sampai 4 menit 20 detik, sedangkan lazy loading SOCI konsisten selesai cuma dalam 6 sampai 8 detik (sekitar 34x lebih kencang di seluruh konfigurasi).

Apakah Lazy Loading Memperlambat Proses Training?

Pertanyaan paling wajar dari developer adalah: apakah streaming file di background bakal bikin performa training jadi lelet? Buat menjawab ini, AWS menjalankan dua eksperimen pelatihan model penuh:

1. Klasifikasi gambar dengan model ResNet-50 pada dataset Imagenette (9.469 gambar) memakai container PyTorch (13,2 GB) dan TensorFlow (9,9 GB) di berbagai instance GPU seperti ml.p5.48xlarge, ml.p4d.24xlarge, dan seri ml.g6e.
2. Fine-tuning model LLM supervised fine-tuning (SFT) pada model Qwen2.5-0.5B memakai dataset alpaca-cleaned (51.760 contoh) dengan Hugging Face Trainer di image DLC PyTorch 9,4 GB.

Dari eksperimen tersebut, ditemukan pola performa yang sangat jelas:

• Epoch kedua dan seterusnya: Waktu per epoch benar-benar sama persis antara download standar dan lazy loading di semua tipe instance.
• Epoch pertama (First-epoch penalty): Ada penambahan waktu sekitar 3 sampai 16 detik pada image SOCI karena framework baru pertama kali menyentuh dan mengambil file tertentu dari registry.
• Hasil akhir bersih (Net saving): Setiap job selesai 1 sampai 6 menit lebih cepat secara keseluruhan, karena penghematan waktu download jauh lebih gede daripada penalti kecil di epoch awal.

Bahkan saat entry point kodingan memakai torch.compile dan ekstensi CUDA JIT yang butuh 7–15 detik tambahan di awal, total penghematan bersihnya masih mencapai 3 menit 25 detik hingga 3 menit 56 detik.

Cara Mencoba SOCI di SageMaker AI

Ada dua cara gampang buat mulai mengadopsi SOCI di SageMaker AI: memakai container resmi bawaan AWS yang sudah terindeks, atau membuat indeks manual untuk image buatanmu sendiri.

Opsi 1: Pakai AWS Deep Learning Container (DLC) Resmi

AWS sudah merilis varian image resmi yang langsung diindeks SOCI. Kamu cukup mencari image dengan akhiran tag -soci. Varian ini tersedia untuk PyTorch Training, TensorFlow Training, vLLM, dan SGLang, termasuk varian arsitektur arm64.

Contoh URI imagenya seperti ini:

763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-training:2.9-gpu-py312-cu130-ubuntu22.04-sagemaker-v1-soci

Opsi 2: Bikin Indeks SOCI Sendiri untuk Custom Image

Kalau kamu punya custom image sendiri, siapkan mesin Linux (misalnya EC2 dengan Amazon Linux 2023) yang terpasang containerd, soci-snapshotter, dan tool CLI nerdctl atau Finch. Ikuti langkah praktis ini:

1. Tentukan Environment Variables: Siapkan variabel akun, region, nama repositori, dan tag image.

   ACCOUNT_ID="111122223333"
   REGION="us-east-1"
   REPOSITORY_NAME="my-training-image"
   ORIGINAL_IMAGE_TAG="v1.0"
   SOCI_IMAGE_TAG="v1.0-soci"
   REGISTRY="$ACCOUNT_ID.dkr.ecr.$REGION.amazonaws.com"

2. Pasang Tool yang Dibutuhkan: Jalankan perintah instalasi paket snapshotter dan containerd.

   sudo dnf install -y containerd fuse soci-snapshotter runfinch-finch
   sudo systemctl start soci-snapshotter
   sudo systemctl restart containerd

3. Login dan Tarik Image Asli: Otentikasi ke ECR lalu tarik image Docker kamu.

   aws ecr get-login-password --region "$REGION" | sudo nerdctl login -u AWS --password-stdin "$REGISTRY"
   sudo nerdctl pull "$REGISTRY/$REPOSITORY_NAME:$ORIGINAL_IMAGE_TAG"

4. Konversi Image ke SOCI dan Push: Ubah image menjadi format SOCI lalu dorong kembali ke ECR.

   sudo nerdctl image convert --soci "$REGISTRY/$REPOSITORY_NAME:$ORIGINAL_IMAGE_TAG" "$REGISTRY/$REPOSITORY_NAME:$SOCI_IMAGE_TAG"
   sudo nerdctl push --platform linux/amd64 "$REGISTRY/$REPOSITORY_NAME:$SOCI_IMAGE_TAG"

Proses ini bakal menghasilkan artefak indeks SOCI dan manifest index OCI baru di ECR tanpa mengubah digest dari image aslimu.

Kamu juga bisa otomatisasi proses ini di pipeline CI/CD pakai alat bantu CFN ECR SOCI Index Builder yang memanfaatkan aturan Amazon EventBridge biar indeks terbuat otomatis setiap ada image push baru.

Menjalankan Training Job via SageMaker Python SDK

Di script Python kamu, cukup panggil tag image -soci tersebut. Nggak ada perubahan sintaks API sama sekali:

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute

trainer = ModelTrainer(
    training_image="111122223333.dkr.ecr.us-east-1.amazonaws.com/my-training-image:v1.0-soci",
    role="arn:aws:iam::111122223333:role/SageMakerExecutionRole",
    compute=Compute(
        instance_type="ml.g5.12xlarge",
        instance_count=2,
    ),
)

trainer.train()

Kamu juga bisa baca panduan lengkapnya di SageMaker AI Developer Guide atau dokumentasi SOCI snapshotter getting-started guide buat opsi konfigurasi tingkat lanjut.

Cara Memverifikasi Apakah Image Sudah Memiliki Indeks SOCI

Sebelum kamu submit job berskala besar, kamu bisa ngecek apakah tag image di ECR emang beneran udah punya artefak SOCI atau belum lewat AWS CLI:

aws ecr batch-get-image \
  --repository-name "$REPOSITORY_NAME" \
  --image-ids imageTag="$SOCI_IMAGE_TAG" \
  --accepted-media-types "application/vnd.oci.image.index.v1+json" \
  --query 'images[0].imageManifest' --output text \
  | jq '.manifests[] | {mediaType, artifactType}'

Periksa output JSON-nya. Pastikan ada baris manifest anak dengan nilai artifactType yang diawali dengan string application/vnd.amazon.soci.index. berdampingan dengan platform manifest kamu. Kalau baris itu nggak muncul, berarti image tersebut belum terindeks SOCI.

Hal yang Perlu Diperhatikan dan Batasannya

Ada beberapa catatan teknis penting dari AWS sebelum kamu mengimplementasikan SOCI di pipeline produksi:

• Khusus Amazon ECR Private: Fitur lazy loading ini cuma berfungsi buat private repository ECR. Kalau image disimpan di registry publik luar atau ditarik lewat mode VPC Docker registry privat (TrainingRepositoryAccessMode diset ke Vpc), lazy loading nggak bakal aktif.
• Skala Ukuran Image: Manfaat SOCI paling optimal terasa pada image berukuran besar di atas 4 GB. Kalau image kamu di bawah itu, penghematan waktunya relatif kecil.
• Ketergantungan Docker Engine: Container berindeks SOCI berjalan di runtime berbasis containerd. Hindari script entry point yang memanggil Docker CLI secara langsung, membaca socket /var/run/docker.sock, atau mencari ID dari jalur cgroup. SageMaker emang memasang penanda /.dockerenv buat kompatibilitas mundur, tapi sebaiknya jangan menambah dependensi baru ke file itu.
• Ketersediaan Wilayah: Fitur pengindeksan SOCI untuk SageMaker AI ini sudah tersedia di seluruh AWS Regions.

Kalau kamu tertarik mendalami arsitektur infrastruktur cloud ML lebih lanjut, kamu bisa cek artikel kami tentang Auto Scaling SageMaker CDK atau ulasan Reinforcement Learning SageMaker AI.

Solusi Cepat Uji Model Tanpa Pusing Setup Infrastruktur

Mengonfigurasi instance cloud, ECR, dan container deep learning emang krusial buat tahap riset tingkat lanjut atau fine-tuning mandiri. Tapi kalau tujuan utamamu adalah langsung memakai model frontier cerdas ke dalam aplikasi lewat API yang hemat biaya dan siap pakai, kamu nggak melulu harus sewa instance mahal sendirian.

Kamu bisa memanfaatkan Classai Router buat mengakses puluhan model AI global lewat satu endpoint yang kompatibel langsung dengan SDK OpenAI maupun Anthropic. Misalnya, kamu bisa nyobain model penalaran kencang seperti deepseek-v4.1-flash dengan tarif cuma Rp1.155 per 1 juta token input dan Rp4.200 per 1 juta token output, atau model kimi-k3 di harga Rp2.925 per 1 juta token input.

Top up di Classai Router sangat terjangkau mulai dari Rp10.000 saja lewat QRIS atau transfer virtual account lokal tanpa ribet kartu kredit luar negeri. Selain itu, kalau kamu pengin memperdalam keahlian teknis membangun aplikasi cerdas berbasis AI, kamu juga bisa gabung di kelas AI untuk Developer untuk belajar alur kerja engineering modern langsung dari praktisi.