TwelveLabs Pegasus 1.5 Bedrock Rilis: Video 2 Jam Jadi JSON Rapi

Apa itu Pegasus 1.5 dan Kenapa Penting Buat Developer?

TwelveLabs Pegasus 1.5 adalah video language model (VLM) yang dirancang khusus buat memahami isi video secara mendalam, bukan sekadar membaca subtitle atau transkrip audio. Model ini menggabungkan pemahaman visual, audio, teks yang muncul di layar (on-screen text), sampai angka di dalam frame video.

Kalau di Pegasus 1.2 kamu cuma bisa ngasih klip pendek lalu nanya satu pertanyaan spesifik, Pegasus 1.5 punya kapabilitas yang jauh lebih luas. Model ini bisa membedah keseluruhan isi video, mencari momen yang sesuai kriteria pencarian kamu, lalu mengembalikan hasilnya dalam bentuk potongan segmen JSON terstruktur lengkap dengan catatan waktu mulai dan selesai.

Ada sejumlah kemampuan inti yang bikin model ini menarik banget:

• Video-to-text generation: Bikin deskripsi teks yang mendalam dan akurat dari kejadian di video.
• Granular visual comprehension: Ngenalin objek, teks di layar monitor atau papan nama, sampai angka di jersey pemain olahraga.
• Temporal grounding: Menentukan detik persis kapan suatu aksi atau insiden terjadi di layar.
• Multimodal understanding: Menggabungkan konteks gambar bergerak, suara ucapan, efek audio latar, dan tulisan visual secara serentak.
• Dukungan multibahasa: Mendukung penuh bahasa Inggris, plus dukungan parsial buat bahasa Arab, Mandarin, Prancis, Jerman, Italia, Jepang, Korea, Portugis, Rusia, Spanyol, Thai, dan Vietnam.

Apa Saja Fitur Baru di Pegasus 1.5?

Dibandingkan versi pendahulunya, Pegasus 1.5 membawa empat peningkatan utama yang langsung terasa pas kamu pakai di production:

1. Time-based metadata generation: Kamu cukup menentukan kejadian apa yang mau dipantau—misalnya pergantian segmen obrolan, operan bola penting, pergantian pembicara, atau kemunculan brand. Pegasus 1.5 bakal membalas dengan daftar segmen JSON rapi berisi start_sec dan end_sec serta variabel yang kamu minta.
2. Multimodal prompting: Sekarang kamu bisa ngirim gambar referensi barengan sama teks prompt. Contohnya, kamu upload foto logo sponsor atau foto kemasan botol minuman, lalu minta model mendeteksi di menit mana aja botol itu muncul dan apa yang lagi dilakuin orang di sekitarnya.
3. On-the-fly processing: Nggak perlu lagi setup ingestion pipeline atau indexing database vektor video di awal. Kamu cukup mengarahkan model ke URI Amazon S3, lalu hasilnya langsung balik di respon API.
4. Durasi video makin panjang: Batas maksimal pemrosesan naik dua kali lipat, dari yang tadinya 1 jam di Pegasus 1.2 jadi 2 jam penuh dalam satu kali request.

Selain itu, semua video kamu tetap aman berada di dalam batas keamanan AWS (AWS data boundary), jadi nggak ada risiko data internal perusahaan bocor ke pihak luar.

Spesifikasi dan Parameter Teknis di Amazon Bedrock

Pegasus 1.5 berjalan dengan mode inferensi on-demand di Amazon Bedrock. Saat ini model sudah aktif di Region US West (Oregon) atau us-west-2. Kalau kamu mau ngecek pembaruan wilayah lain ke depannya, kamu bisa intip dokumentasi full Region list AWS Bedrock.

Berikut ringkasan spesifikasi input dan konfigurasinya:

Pegasus 1.5 punya dua mode analisis (analysisMode) yang bisa kamu atur sesuai kebutuhan sistem backend kamu:

• Mode General (general): Ini opsi bawaan. Kamu ngirim prompt instruksi di kolom inputPrompt, dan model bakal ngebales berupa teks penjelasan di kolom message, atau string JSON kalau kamu ngasih aturan skema.
• Mode Time-based Metadata (time_based_metadata): Mode khusus segmentasi video. Kamu nggak perlu ngisi inputPrompt, tapi ngasih daftar definisi segmen di responseFormat. Model bakal ngembaliin daftar array segments lengkap dengan durasi detik atau menit.

Persiapan Izin IAM dan Setup Awal

Sebelum mulai nulis kode Python, pastikan beberapa persiapan ini sudah beres di akun AWS kamu:

1. Akun AWS aktif yang sudah punya izin akses ke Amazon Bedrock.
2. Python versi 3.10 atau yang lebih baru, lengkap dengan library Boto3.
3. Akses model TwelveLabs Pegasus 1.5 sudah kamu aktifkan lewat konsol Amazon Bedrock.
4. Izin AWS Identity and Access Management (IAM) buat aksi bedrock:InvokeModel dan bedrock:InvokeModelWithResponseStream.
5. File video yang tersimpan di bucket Amazon S3 atau file klip pendek di komputer lokal.

Contoh konfigurasi IAM policy minimal yang perlu kamu pasang:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "bedrock:InvokeModel",
        "bedrock:InvokeModelWithResponseStream"
      ],
      "Resource": [
        "arn:aws:bedrock:us-west-2::foundation-model/twelvelabs.pegasus-1-5-v1:0"
      ]
    }
  ]
}

Boto3 bakal otomatis membaca kredensial AWS standar kamu. Kalau kamu butuh autentikasi pakai API key Bedrock via bearer token, kamu bisa memasukkan nilainya ke environment variable AWS_BEARER_TOKEN_BEDROCK (membutuhkan izin bedrock:CallWithBearerToken). Buat lingkungan produksi, lebih disarankan pakai token jangka pendek otomatis lewat package aws-bedrock-token-generator.

Cara Mencoba Pegasus 1.5 Pakai Python (Boto3)

Berikut panduan langkah demi langkah memanggil model Pegasus 1.5 dari aplikasi Python kamu.

1. Request Sederhana untuk Analisis Video di S3

Install Boto3 terlebih dahulu di terminal kamu:

pip install boto3

Lalu jalankan skrip berikut. Kita pakai endpoint Cross Region Inference (CRIS) global biar routing inferensi lebih fleksibel:

import boto3
import json
from botocore.config import Config

AWS_REGION = "us-west-2"
MODEL_ID = "global.twelvelabs.pegasus-1-5-v1:0"

# Atur read_timeout agak panjang karena pemrosesan video butuh waktu lebih lama
bedrock_runtime = boto3.client(
    service_name="bedrock-runtime",
    region_name=AWS_REGION,
    config=Config(
        read_timeout=900,
        retries={"max_attempts": 0},
        connect_timeout=10,
    ),
)

payload = {
    "inputPrompt": "Summarize this video and identify the key topics discussed.",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://bucket-kamu-pegasus/rekaman-webinar.mp4",
            "bucketOwner": "123456789012"  # AWS account ID pemilik bucket
        }
    },
    "temperature": 0.2,
    "maxOutputTokens": 4096,
    "includeMetering": True
}

response = bedrock_runtime.invoke_model(
    modelId=MODEL_ID,
    body=json.dumps(payload)
)

result = json.loads(response["body"].read())
print(result["message"])

# Cek apakah respon kepotong batas token
if result.get("stopReason") == "length":
    print("Jawaban kepotong token. Coba naikkan maxOutputTokens.")
print("Token input:", result.get("input_tokens"), "Token output:", result.get("output_tokens"))

Kalau videomu cuma klip pendek di bawah 25 MB, kamu nggak harus upload ke S3 dulu. Kamu bisa ubah file video lokal jadi base64 string dan pasang di kolom mediaSource.base64String.

2. Streaming Respons Teks Secara Real-Time

Biar antarmuka aplikasi kamu nggak terasa nge-freeze pas nunggu analisis video panjang beres, manfaatkan API streaming InvokeModelWithResponseStream:

response = bedrock_runtime.invoke_model_with_response_stream(
    modelId=MODEL_ID,
    body=json.dumps(payload)
)

for event in response["body"]:
    chunk = json.loads(event["chunk"]["bytes"])
    print(chunk.get("message", ""), end="", flush=True)
print()

Setiap potongan teks baru bakal langsung dicetak seketika tanpa perlu nunggu seluruh proses inferensi selesai.

3. Mengunci Respons dengan Skema JSON

Di mode general, kamu bisa mengunci format balasan agar selalu mengikuti JSON Schema. Langkah ini bikin backend kamu gampang melakukan parsing tanpa takut format teks berantakan, mirip seperti workflow di artikel /developer/structured-outputs-claude-bedrock-panduan-lengkap.

payload = {
    "inputPrompt": "Analyze this video and return a structured summary.",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://bucket-kamu-pegasus/rekaman-webinar.mp4",
            "bucketOwner": "123456789012"
        }
    },
    "temperature": 0,
    "maxOutputTokens": 2048,
    "includeMetering": True,
    "responseFormat": {
        "type": "json_schema",
        "jsonSchema": {
            "type": "object",
            "properties": {
                "summary": {"type": "string"},
                "key_scenes": {"type": "array", "items": {"type": "string"}},
                "setting": {"type": "string"}
            },
            "required": ["summary", "key_scenes", "setting"]
        }
    }
}

response = bedrock_runtime.invoke_model(modelId=MODEL_ID, body=json.dumps(payload))
parsed = json.loads(json.loads(response["body"].read())["message"])
print("Ringkasan:", parsed["summary"])

Segmentasi Video: Memotong Momen Jadi Data Ber-Timestamp

Bagian paling juara dari Pegasus 1.5 ada di mode time_based_metadata. Di sini kamu nggak ngirim pertanyaan chat biasa, melainkan aturan definisi segmen (segmentDefinitions). Tiap definisi punya ID, deskripsi visual yang dicari, dan daftar kolom data (fields) yang mau diekstrak (tipe datanya bisa string, boolean, number, integer, array, atau timestamp).

Simak contoh payload berikut untuk memotong segmen siaran berita:

payload = {
    "analysisMode": "time_based_metadata",
    "mediaSource": {
        "s3Location": {
            "uri": "s3://bucket-kamu-pegasus/siaran-berita.mp4",
            "bucketOwner": "123456789012"
        }
    },
    "responseFormat": {
        "type": "segment_definitions",
        "segmentTimeFormat": "hh:mm:ss",
        "segmentDefinitions": [
            {
                "id": "editorial_section",
                "description": "Bagian editorial berita yang terpisah seperti topik liputan baru atau pergantian sesi acara.",
                "fields": [
                    {"name": "segment_title", "type": "string", "description": "Judul segmen"},
                    {"name": "summary", "type": "string", "description": "Ringkasan isi segmen"},
                    {"name": "key_topics", "type": "array", "items": {"type": "string"}, "description": "Topik utama bahasan"}
                ]
            }
        ]
    },
    "temperature": 0,
    "maxOutputTokens": 32768,
    "includeMetering": True
}

response = bedrock_runtime.invoke_model(
    modelId=MODEL_ID,
    contentType="application/json",
    accept="application/json",
    body=json.dumps(payload)
)

result = json.loads(response["body"].read())
for segmen in result["segments"]:
    print(f"{segmen['start_sec']} - {segmen['end_sec']}: {segmen['segment_title']}")
    print(f"  Ringkasan: {segmen['summary']}")
    print(f"  Topik: {', '.join(segmen['key_topics'])}")

Format waktu bisa kamu kontrol lewat segmentTimeFormat. Opsi seconds ngasih angka detik mentah (enak buat operasi hitungan di kode backend), sedangkan hh:mm:ss atau hh:mm:ss.fff ngasih format jam yang langsung enak dibaca.

Dalam satu panggilan API, kamu bisa menaruh banyak definisi sekaligus. Misalnya satu buat memilah sesi berita, dan satu lagi buat mendeteksi penampakan logo brand (brand_appearance). Semua hasil bakal masuk ke array segments dan otomatis ditandai dengan field _definition_id.

Multimodal Prompting: Cari Momen Berbekal Foto Referensi

Terkadang ngejelasin benda tertentu lewat kata-kata itu susah banget. Misalnya kamu pengin melacak kapan botol minuman varian tertentu atau merchandise khusus muncul di video podcast. Nah, Pegasus 1.5 bikin urusan ini gampang lewat multimodal prompting.

Kamu bisa ngirim sampai 30 gambar referensi sekaligus dalam satu request. Di mode segmentasi, foto referensi diselipkan ke dalam array mediaSources di tiap definisi segmen:

# Contoh blok mediaSources di dalam segmentDefinitions
{
    "id": "product_appearance",
    "description": "Sorotan kamera yang memperlihatkan produk sesuai gambar referensi.",
    "fields": [
        {"name": "what", "type": "string", "description": "Aktivitas objek di layar"}
    ],
    "mediaSources": [
        {
            "name": "ref_botol",
            "media_type": "image",
            "s3Location": {
                "uri": "s3://bucket-kamu-pegasus/foto-produk.jpg",
                "bucketOwner": "123456789012"
            }
        }
    ]
}

Dengan cara ini, Pegasus 1.5 cuma bakal motong segmen pada detik-detik saat objek di foto referensi benar-benar tertangkap kamera.

Kamu juga bisa mencobanya dalam mode general dengan prompt teks seperti ini:

Perhatikan video ini dan cocokkan dengan gambar produk terlampir. Di menit ke berapa saja produk tersebut terlihat di atas meja, dan apa yang sedang dilakukan oleh pembicara saat produk itu muncul?

Dampak Nyata Buat Industri dan Developer di Indonesia

Kehadiran Pegasus 1.5 di cloud publik seperti Amazon Bedrock ngebuka jalan keluar buat berbagai kendala pemrosesan media di Indonesia:

1. Digitalisasi Arsip TV dan Media Nasional: Stasiun televisi dan portal media online lokal punya ribuan jam arsip video liputan berita. Dulu pencarian cuma ngandelin judul klip. Sekarang, seluruh arsip bisa dibedah otomatis jadi topik-topik kecil ber-timestamp.
2. Produksi Cepat Highlight Olahraga & Hiburan: Bikin potongan klip momen gol pertandingan sepak bola lokal atau intisari podcast panjang bisa jalan otomatis. Editor video nggak perlu lagi nonton rekaman mentah 90 menit cuma buat nyari 3 menit aksi seru.
3. Audit Sponsor dan Iklan Brand: Agensi periklanan bisa melacak seberapa sering dan berapa lama logo brand sponsor tampil di siaran langsung turnamen game atau konser musik.
4. Keamanan Data dan Privasi: Karena seluruh proses inferensi berjalan di dalam batas keamanan AWS akun perusahaan kamu sendiri, rekaman video sensitif nggak perlu dilempar ke server publik pihak ketiga yang nggak jelas kepatuhannya.

Skema Penagihan dan Kolaborasi dengan Classai Router

Soal biaya, penagihan TwelveLabs Pegasus 1.5 di Bedrock berjalan lewat kanal langganan software pihak ketiga di AWS. Tagihannya bakal tercatat langsung di akun AWS kamu dan muncul di AWS Cost Explorer di bawah nama TwelveLabs, bukan di pos Amazon Bedrock biasa. Kamu bisa melihat rincian tarif terbarunya di Pegasus 1.5 model card.

Kalau dalam workflow aplikasimu kamu butuh menghubungkan hasil ekstraksi video Pegasus dengan model bahasa reasoning tingkat tinggi buat nulis naskah atau rangkuman, kamu bisa memadukannya dengan Classai Router. Classai Router ngasih kamu satu API key praktis buat mengakses model-model teks terbaik dunia tanpa perlu kartu kredit luar negeri.

Contohnya, setelah data JSON segmen video ditarik dari Pegasus 1.5, kamu bisa mengoper metadata tersebut ke model penalaran seperti Claude Sonnet 4.6 (Rp2.700 / Rp13.500 per 1M token) atau model hemat DeepSeek V4.1 Flash (Rp1.155 / Rp4.200 per 1M token) buat otomatis bikin artikel berita atau rangkuman media sosial. Saldo bisa kamu isi mulai Rp10.000 lewat QRIS atau virtual account bank lokal.

Buat kamu yang mau mendalami cara integrasi AI agent dan backend modern secara menyeluruh, jangan ragu buat ikut belajar di kelas AI untuk Developer.