Lihat sumber Masalah Vanishing Gradient dalam Backpropagation

Vanishing gradient adalah salah satu masalah signifikan yang sering dialami saat menerapkan backpropagation pada [[jaringan saraf dalam]] (deep neural networks). Masalah ini menyebabkan pelatihan jaringan saraf menjadi sangat lambat atau bahkan gagal untuk menemukan solusi optimal.

== Penyebab Vanishing Gradient ==
Biasanya, vanishing gradient terjadi ketika turunan dari fungsi aktivasi sangat kecil, sehingga gradien yang dihitung melalui backpropagation berkurang drastis pada setiap lapisan. Hal ini membuat update bobot menjadi tidak efektif pada lapisan-lapisan awal.

== Dampak pada Pelatihan Model ==
Tanpa gradien yang cukup, lapisan awal dari jaringan saraf tidak dapat belajar secara efektif. Akibatnya, performa model pada tugas-tugas [[pembelajaran mendalam]] dapat menurun.

== Solusi untuk Mengatasi ==
Beberapa solusi untuk mengatasi masalah ini adalah dengan menggunakan fungsi aktivasi seperti [[ReLU]], teknik [[batch normalization]], atau arsitektur khusus seperti [[Long Short-Term Memory]] (LSTM) pada [[recurrent neural network]].