Pada gambar di atas ada sebuah data dengan tiga buah calon model: model linier, model kuadratik, dan model polinomial.
Pada setiap data akan memuat signal (informasi) dan sekaligus noise (gangguan). Pemodelan merupakan seni yang akan berusaha memisahkan signal dan noise tersebut.
Dari ukuran informasi AIC atau BIC akan disimpulkan bahwa model kuadratik merupakan model yang terbaik yang mampu memisahkan signal dan noise.
Model kuadratik ini dipandang sebagai model yang balance. Ia mampu mengalahkan model polinomial yang lebih kompleks.
Pada model polinomial, ia memperlakukan noise serupa dengan signal (informasi) sehingga keduanya tidak bisa dipisahkan. Model polinomial ini akan dipandang sebagai model yang overfitting.
Dari ukuran goodness of fit dari model, memang model polinomial paling tinggi nilainya. Namun ini belum mencukupi untuk proses seleksi model karena ternyata ia overfitting dan fenomena ini dilaporkan oleh AIC atau BIC. Ia masih belum bisa memisahkan signal dan noise.
Pada model linier, ada sebagian dari signal yang masih belum terpisahkan dari noise. Model linier ini akan dipandang sebagi model yang underfitting.
Untuk kasus kali ini, model kuadratik merupakan model paling sederhana yang paling optimal di dalam menggali informasi (signal). Hendaknya model ini jangan lebih disederhanakan lagi menjadi model linier, nanti tidak optimal.
Keindahan seni pemodelan ini akan selaras dengan kutipan Einstein berikut:
“Everything should be made as simple as possible but not simpler”.
Istilah underfitting dan overfitting ditemui pula pada kajian Deep Learning.
Di dalam kajian Deep Learning, proses learning yang pas akan menghasilkan model yang mampu melihat generalisasi atau keteraturan (regularity) pola yang ada pada data seoptimal mungkin.
Proses learning yang berlebihan akan menghasilkan overfitting. Dalam hal ini, model hanya sekedar memorizing (menghafal) namun gagal untuk learning. Model ini telah gagal melihat generalisasi atau keteraturan (regularity) pola yang ada pada data.
Pada model Deep Learning yang overfitting, ia kelak akan gagal menghasilkan prediksi yang baik karena ia tidak akan mampu melihat keteraturan pola pada data baru yang belum ada di dalam sampel sebelumnya, karena selama ini ia lakukan memang hanya memorizing saja, bukan learning.
Pada gambar di atas, fenomena overfitting ini diperlihatkan oleh titik-titik garis berwarna hijau yang semakin lama semakin mengecil, semakin sering ia melakukan memorizing dibandingkan learning.
Di lain pihak, proses learning yang masih kurang memadai akan menghasilkan model yang underfitting.
Pada model yang underfitting seperti ini, ia memang tidak mempunyai kesempatan yang cukup untuk learning dan sekaligus tidak sempat pula memorizing. Dalam hal ini, informasi di dalam data belum berhasil digali secara optimal.
Kesempatan untuk learning akan dipengaruhi oleh ke-kompleks-an (complexity) dari model: lama training, jumlah parameter, pilihan arsitektur artificial neural network (ANN) dan pilihan data yang digunakan.
Referensi:
https://twitter.com/wesbonifay/status/1407005111759540225?s=19
A Simple Notebook 