Ridge regression: Perbedaan antara revisi

(2 revisi perantara oleh pengguna yang sama tidak ditampilkan)

Baris 4:

Ridge regression merupakan pengembangan dari [[regresi linear]] biasa yang menambahkan sebuah istilah penalti berbasis norma L2 pada fungsi kerugian. Penalti ini memaksa nilai koefisien regresi menjadi lebih kecil, sehingga mengurangi varians model tanpa terlalu meningkatkan bias. Secara matematis, metode ini meminimalkan jumlah kuadrat galat ditambah dengan λ (lambda) dikalikan jumlah kuadrat koefisien.

~~Secara umum, persamaan optimisasi ridge~~ regression ~~dapat ditulis sebagai:~~

'''Ridge regression''' (juga dikenal sebagai ''Tikhonov regularization'') adalah metode regresi linear dengan penalti norm kuadrat (''L2 penalty''). Fungsi objektifnya adalah:

: ''~~min~~'' ‖''y'' − ''Xβ'~~'‖²₂ + λ‖β‖²₂~~

~~di mana λ ≥ 0~~ adalah ~~parameter regularisasi yang mengendalikan besar penalti.~~

:<math>\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \|\beta\|_2^2</math>

dengan:

* <math>y</math> : vektor target/output (berukuran <math>n \times 1</math>)

* <math>X</math> : matriks fitur/predictor (berukuran <math>n \times p</math>)

* <math>\beta</math> : vektor koefisien regresi (berukuran <math>p \times 1</math>)

* <math>\|y - X\beta\|_2^2</math> : jumlah kuadrat galat (''sum of squared errors'')

* <math>\lambda \|\beta\|_2^2</math> : penalti regularisasi L2

* <math>\lambda \geq 0</math> : parameter regularisasi

Ridge regression mencari solusi yang tidak hanya meminimalkan galat prediksi, tetapi juga membatasi besar koefisien agar tidak berlebihan, sehingga dapat mengurangi risiko ''overfitting''.

== Sejarah dan Pengembangan ==

Metode ridge regression pertama kali diperkenalkan oleh Hoerl dan Kennard pada tahun 1970. Mereka mengembangkan teknik ini untuk mengatasi masalah multikolinearitas pada model regresi linear, di mana variabel independen memiliki korelasi tinggi satu sama lain. Sejak saat itu, ridge regression banyak digunakan di berbagai bidang seperti [[ekonometrika]], [[biostatistik]], dan [[ilmu komputer]].

@@ Baris 4: / Baris 4: @@
 Ridge regression merupakan pengembangan dari [[regresi linear]] biasa yang menambahkan sebuah istilah penalti berbasis norma L2 pada fungsi kerugian. Penalti ini memaksa nilai koefisien regresi menjadi lebih kecil, sehingga mengurangi varians model tanpa terlalu meningkatkan bias. Secara matematis, metode ini meminimalkan jumlah kuadrat galat ditambah dengan λ (lambda) dikalikan jumlah kuadrat koefisien.
-Secara umum, persamaan optimisasi ridge regression dapat ditulis sebagai:
+'''Ridge regression''' (juga dikenal sebagai ''Tikhonov regularization'') adalah metode regresi linear dengan penalti norm kuadrat (''L2 penalty''). Fungsi objektifnya adalah:
-: ''min'' ‖''y'' − ''Xβ''‖²₂ + λ‖β‖²₂
-di mana λ ≥ 0 adalah parameter regularisasi yang mengendalikan besar penalti.
+:<math>\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \|\beta\|_2^2</math>
+dengan:
+* <math>y</math> : vektor target/output (berukuran <math>n \times 1</math>)
+* <math>X</math> : matriks fitur/predictor (berukuran <math>n \times p</math>)
+* <math>\beta</math> : vektor koefisien regresi (berukuran <math>p \times 1</math>)
+* <math>\|y - X\beta\|_2^2</math> : jumlah kuadrat galat (''sum of squared errors'')
+* <math>\lambda \|\beta\|_2^2</math> : penalti regularisasi L2
+* <math>\lambda \geq 0</math> : parameter regularisasi
+Ridge regression mencari solusi yang tidak hanya meminimalkan galat prediksi, tetapi juga membatasi besar koefisien agar tidak berlebihan, sehingga dapat mengurangi risiko ''overfitting''.
 == Sejarah dan Pengembangan ==
 Metode ridge regression pertama kali diperkenalkan oleh Hoerl dan Kennard pada tahun 1970. Mereka mengembangkan teknik ini untuk mengatasi masalah multikolinearitas pada model regresi linear, di mana variabel independen memiliki korelasi tinggi satu sama lain. Sejak saat itu, ridge regression banyak digunakan di berbagai bidang seperti [[ekonometrika]], [[biostatistik]], dan [[ilmu komputer]].