Sejarah dan Perkembangan Backpropagation

Backpropagation telah mengalami perjalanan panjang dalam dunia komputasi dan ilmu komputer. Awalnya, pelatihan jaringan saraf dalam beberapa dekade lalu terkendala oleh keterbatasan dalam mengoptimalkan bobot pada banyak lapisan. Namun, sejak inovasi backpropagation, pelatihan model jaringan saraf menjadi lebih praktis dan efisien.

Penemuan Awal

Konsep backpropagation pertama kali diperkenalkan oleh Paul Werbos pada tahun 1974. Namun, penerapannya baru dikenal luas setelah publikasi oleh Rumelhart, Hinton, dan Williams pada tahun 1986.

Masa Keemasan dan Tantangan

Pada akhir 1980-an, backpropagation menjadi sangat populer, tetapi menghadapi masalah seperti vanishing gradient yang menghambat pelatihan jaringan dalam.

Inovasi dan Adaptasi Modern

Seiring berkembangnya komputasi paralel dan GPU, backpropagation kembali menjadi pusat perhatian dalam era deep learning. Berbagai teknik modern dikembangkan untuk mengatasi keterbatasan awal, seperti normalisasi batch dan penggunaan fungsi aktivasi yang lebih stabil.