Materi LLM Modern

Ringkas, praktis, dan siap ajar: model GPT, Claude, DeepSeek, Groq (platform), LLaMA, Gemini, Qwen. Termasuk RAG, embedding, serta diagram arsitektur interaktif (tooltip).

Ringkasan Model LLM

Model Penyedia Kelebihan Use Case Utama
GPT (4o, mini) OpenAI Multimodal (teks, gambar, suara), stabil untuk produk Chat asisten, analisis dokumen, agen
Claude (3.x) Anthropic Kuat di dokumen panjang dan reasoning Analisis PDF/kontrak, penulisan terstruktur
DeepSeek (R1/V2) DeepSeek Efisien biaya, reasoning kuat (distilled) Coding assistant, analisis logika
Groq Groq Inc. Platform inferensi ultra-cepat (bukan model) Serving LLaMA/Qwen/Whisper berlatensi rendah
LLaMA (3.x) Meta Open-source, mudah self-host On-prem, private AI, penelitian
Gemini (1.5/2.x) Google Multimodal dokumen-gambar-video-audio Analisis multimodal dan konteks panjang
Qwen (2.5 / VL / Audio) Alibaba Open-source kuat, multibahasa, varian vision/audio Aplikasi ekonomis, penelitian, edge

Rekomendasi Berdasarkan Jenis Data

Teks
GPT 4o / Claude 3 untuk kualitas; LLaMA/Qwen untuk self-host.
Gambar
GPT 4o Vision / Gemini; Qwen-VL sebagai opsi open-source.
Video
Gemini (konteks panjang + transkrip + keyframe sampling).
Suara
Whisper / GPT 4o audio; Groq untuk ASR berlatensi rendah.

RAG (Retrieval-Augmented Generation)

Inti RAG: “tanya → cari bukti → susun jawaban berbasis bukti.” Tooltip di bawah menjelaskan tiap komponen dengan analogi sederhana.

Ingest + Embedding Chunking, ETL Vector DB HNSW, IVF, PQ User Query + Rewriter Retriever BM25 + Vector + Rerank Generator (LLM) Prompt + Context
Arsitektur RAG — Offline Pipeline (atas) & Online Query (bawah)
OFFLINE: Ingest → Embed → Index ONLINE: Query → Retrieve → Generate Sources PDF, HTML, DB Chunking & ETL clean, split, normalize Embedding text → vector Vector DB HNSW / IVF / PQ User Query q (text) → vector Query Rewriter clarify, expand Hybrid Retriever BM25 + Vector Re-ranker cross-encoder Prompt + Context Builder instructions + top-k passages + citations Generator (LLM) GPT/Claude/Gemini/LLaMA/Qwen Answer + Evidence final text + citations ANN search Scheduler & Ingestor Eval & Quality Gates Observability (latency, cost, recall) Cache (prompt/embedding/answer) Legend: Solid = utama, Dashed = opsional

Text Embedding & Dimensi

Embedding mengubah teks menjadi vektor angka sehingga “kedekatan makna” bisa diukur. Bayangkan peta kota: kalimat yang maknanya mirip akan “berdekatan” di peta vektor.

  • Dimensi lazim: 384 · 512 · 768 · 1024 · 1536+
  • Trade-off: dimensi naik → detail naik → memori & latensi juga naik
  • Saran praktis: 768 untuk aplikasi umum; ≥1536 untuk presisi tinggi/korporat
  • Indexing: gunakan HNSW/IVF; aktifkan PQ/INT8 untuk hemat memori