Metrik Evaluasi Model
Laporan performa dan spesifikasi model IndoGPT (GPT-2) fine-tuned untuk generasi pantun
Arsitektur
IndoGPT
GPT-2 · Causal LM
Jumlah Epoch
3
iterasi pelatihan
Learning Rate
5e-5
AdamW Optimizer
Batch Size
4
per device
Transformer Layers
12
Attention Heads
12
Embedding Dim
768
Context Window
1024
Vocab Size
40,004
Model Size
~466 MB
Kurva Training Loss per Step
Data riil dari log training — 2523 steps, 3 epoch. Loss dimulai dari 4.81 dan konvergen ke 0.22.
Rata-rata Loss per Epoch
Rata-rata training loss per epoch. Epoch 1: 1.86 → Epoch 2: 0.27 → Epoch 3: 0.23.