Statistik telah ada sejak lama dan telah bekerja dengan cukup baik untuk menangani semua jenis data.
Tapi itu berlaku pada masa sebelum kehadiran big data. Terutama big data yang yang muncul oleh lalu lintas internet yang berupa angka, teks, video dan audio.
Menurut Jeff Desjardins, akan tercipta sekitar 463 exabyte data oleh internet setiap hari pada tahun 2025 (1 exabyte = 1 milyar Gigabyte).
Ada dua buah paradigma di dalam penggunaan instument untuk pengolahan data. Yang pertama penggunaan statistical modeling untuk small data dan yang kedua algorithmic modeling untuk big data.
Statistical modeling mengasumsikan bahwa data dihasilkan dari suatu data generating process yang diasumsikan mekanismenya oleh suatu stochastic data model.
Di lain pihak, algorithmic modeling akan memperlakukan mekanisme data generating process sebagai suatu hal yang tidak diketahui.
Komunitas statistikawan telah lama berkomitmen pada penggunaan stochastic data model secara eksklusif untuk mengolah data.
Namun komitmen ini tidak cukup untuk mengerjakan sejumlah besar masalah terkini dengan big data.
Di lain pihak algoritmic modeling baik secara teori maupun praktik telah berkembang pesat di berbagai bidang di luar statistika. Ini dapat digunakan dengan baik untuk big data yang kompleks.
Jadi jika tujuan seseorang berada di bidang Data Science untuk menggunakan data sebagai pemecah masalah, maka ketergantungan secara eksklusif pada stochastic data model akan tergantikan oleh alat yang lebih beragam di algoritmic modeling.
Bagaimanakah cara seseorang yang sudah mempunyai bekal ilmu Statistika akan bisa mulai memasuki masa transisi dari statistical modeling untuk menuju algoritmic modeling?
Langkahnya mula-mula bisa ditempuh dengan mulai mempelajari dan mempraktekkan isi buku berikut:
Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani (2021), An Introduction to Statistical Learning – with Applications in R.
Buku inilah yang akan mampu menjembatani seseorang untuk melalui masa transisi dari statistical modeling menuju algoritmic modeling.
Ini bukan berarti ilmu Statistik yang biasa tidak lagi berguna.
Seseorang masih perlu meluangkan waktu untuk mempelajari Statistika dan Probabilitas yang biasa sebagai investasi untuk keperluan mengolah small data yang masih banyak dijumpai di berbagai bidang.
Referensi:
https://www.datasciencecentral.com/profiles/blogs/a-question-of-udability
A Simple Notebook 