Pada saat ini, ada banyak bidang kajian di deep learning. Namun belum ada prinsip pemersatu yang akan menyatukan berbagai bidang itu.
Posisi deep learning yang seperti ini akan segera mengingatkan kita pada bidang kajian geometri di abad kesembilan belas.
Sebelum abad kesembilan belas, hanya dikenal Euclidean geometry, tidak ada bidak kajian geometri lainnya. Ketika memasuki abad kesembilan barulah ada non-Euclidean geometry yang dibangun oleh Lobachevesky, Bolyai, Gauss, dan Riemann.
Di akhir abad kesembilan belas, berbagai jenis kajian geometri yang ada dipersatukan oleh Felix Klein dengan Erlangen Programme.
Klein mengusulkan pendekatan geometri sebagai kajian invarian (the study of invariants) yaitu sifat yang tidak berubah di bawah beberapa kelas transformasi yang disebut the symmetries of the geometry.
Pendekatan ini menciptakan kejelasan yang memperlihatkan bahwa berbagai geometri yang diketahui pada saat itu sebetulnya dapat didefinisikan dengan pilihan transformasi simetri yang tepat, diformalkan menggunakan bahasa teori grup (Struktur Aljabar).
Misalnya, geometri Euclidean berkaitan dengan panjang dan sudut, dan sifat-sifat ini invarian oleh kelompok transformasi Euclidean (rotasi dan translasi).
Sedangkan geometri affine mempelajari tentang paralel yang invarian oleh kelompok transformasi affine.
Hubungan antara geometri ini segera terlihat ketika mempertimbangkannya ke masing-masing grup. Misalnya, grup Euclidean adalah subgrup dari grup affine, yang pada gilirannya merupakan subgrup dari grup transformasi proyektif.
Prinsip pemersatu seperti yang diperlihatkan oleh Felix Klein dengan Erlangen programme untuk geometri ini belum ditemukan untuk bidang deep learning.
Ini membuat sulit untuk dipahami hubungan antara berbagai metode di deep learning. Akibat yang tak terhindarkan, akan mungkin dihasilkan penemuan konsep yang sama di domain aplikasi yang berbeda.
Makalah berjudul Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges membuat upaya sederhana untuk menerapkan pola pikir Erlangen Programme ke domain deep learning dengan tujuan akhir untuk mendapatkan sistematisasi bidang ini.
Tim yang menuliskan paper ini menyebut hasil dari upaya geometrisasi ini dengan nama Geometric Deep Learning. Sesuai dengan semangat Felix Klein, mereka mengusulkan untuk menurunkan bias induktif dan arsitektur ANN (Artificial Neural Networks) yang berbeda-beda dengan menerapkan prinsip utama tentang simetri dan invarian.
Secara khusus, mereka berfokus pada kelas besar jaringan saraf yang dirancang untuk menganalisis unstructured sets, grids, graphs, and manifolds dan menunjukkan bahwa hal itu dapat dipahami secara terpadu oleh metode yang menjaga struktur dan simetri domainnya.
Upaya mereka berangkat dari esensi deep learning yang dibangun oleh dua buah prinsip algoritma yang sederhana:
• Pertama, gagasan representasi atau pembelajaran fitur: fitur yang diadaptasi seringkali secara hierarkis akan menangkap keteraturan yang dibutuhkan di setiap tugas.
• Kedua, pembelajaran dengan gradien lokal dengan metode derivatif yang biasanya diimplementasikan sebagai backpropagation.
Makalah ini akan memanfaatkan keteraturan kedua buah prinsip ini melalui prinsip-prinsip geometris terpadu yang dapat diterapkan di seluruh spektrum aplikasi yang luas.
Upaya ‘penyatuan geometris’ seperti itu dalam semangat Erlangen Programme memiliki tujuan ganda: di satu sisi ia menyediakan kerangka matematis umum untuk mempelajari arsitektur ANN yang paling sukses, seperti CNN, RNN, GNN, dan Transformer.
Di sisi lain, ini memberikan prosedur konstruktif untuk mengolah berbagai informasi dari data sebelum ia dimasukkan ke dalam arsitektur ANN dan menyediakan cara untuk membangun arsitektur ANN masa depan yang belum ditemukan.
Dari kajian Geometric Deep Learning ini akan muncul konsep Graph Neural Networks.
Referensi:
https://arxiv.org/abs/2104.13478
A Simple Notebook 