Transformer merupakan sebuah deep learning algorithm model. Produk utama yang dihasilkannya dan sangat menonjol popularitasnya berupa GPT-3, sebuah model untuk Natural Language Processing (NLP).
Yang khas dari Transformer berupa kemampuannya yang tinggi untuk mempelajari dan mengingat-ingat suatu struktur di suatu sistem.
Contohnya, ia bisa menenali struktur kata per kata dalam sebuah naskah yang panjang (kalimat, paragraf dsb).
Kenapa dipilih bidang bahasa sebagai sasaran awal untuk penerapan Tranformer?
Kalau sebuah algoritma sudah mampu mempelajari dan menguasai struktur suatu bahasa (bahasa apa saja) maka ia berpotensi untuk selanjutnya dikembangkan agar ia bisa pula mempelajari cara berlogika seperti manusia.
Kemampuan komputer yang mampu berlogika seperti manusia ini dijadikan sebagai acuan utama untuk pengembangan deep learning algorithms di masa-masa yang akan datang.
Inilah gagasan awal untuk mulai meniti langkah mewujudkan Artificial General Intelligence (AGI).
Kemampuan Transformer yang asalnya dikembangkan untuk bidang bahasa dan computer vision ini kelak secara umum bisa dikembangkan untuk dimanfaatkan ke arah yang lebih luas ke bidang-bidang lainnya.
Sebagai ilustrasinya, produk lain dari Transformer berupa AlphaFold. Ini sebuah prestasi hebat dari DeepMind di bidang Biologi (Biomolekuler) yang bisa memprediksi struktur 3 dimensi untuk protein dari asam amino-nya.
Kelak hasil dari AlphaFold ini bisa dipergunakan di bidang kedokteran dan farmasi untuk mempercepat proses penemuan prosedur pengobatan baru, vaksin baru, obat baru dan antibiotik baru.
Kehebatan Transformer telah merambah kemana-mana di bidang deep learning algorithms, termasuk ke reinforcement learning.
Bagi yang ingin mempelajari Transformer dari awal sekali, di bagian referensi bisa ditemui link untuk mendapatkan tutorial yang membahas Tranformer untuk pemula.
Referensi:
https://e2eml.school/transformers.html.
A Simple Notebook 