Stochastic Gradient Descent (SGD) adalah algoritma optimisasi yang banyak digunakan dalam pelatihan jaringan saraf tiruan dan pembelajaran mesin. Berbeda dengan metode Gradient Descent biasa, SGD memperbarui parameter model berdasarkan satu atau beberapa sampel acak pada setiap iterasi, sehingga lebih efisien dalam menangani dataset besar.
Prinsip Kerja
Pada setiap langkah, SGD memilih secara acak satu atau beberapa data dari dataset dan menghitung gradien dari fungsi loss. Pembaruan parameter dilakukan secara iteratif dengan kecepatan konvergensi yang lebih cepat dibandingkan metode batch.
Keunggulan dan Aplikasi
Keunggulan utama SGD adalah kemampuannya untuk beroperasi pada dataset berukuran besar dan menghindari jebakan minimum lokal pada permukaan loss. Algoritma ini banyak digunakan dalam pelatihan deep learning, regresi logistik, dan klasifikasi di pembelajaran mesin.
Variasi dan Pengembangan
Terdapat berbagai variasi dari SGD seperti Mini-batch Gradient Descent, Momentum, dan Adam optimizer yang memperbaiki performa dan stabilitas algoritma. Penggunaan SGD telah merevolusi cara model pembelajaran mesin dilatih dan diimplementasikan.