Ridge regression: Perbedaan antara revisi

Baris 4:

Ridge regression merupakan pengembangan dari [[regresi linear]] biasa yang menambahkan sebuah istilah penalti berbasis norma L2 pada fungsi kerugian. Penalti ini memaksa nilai koefisien regresi menjadi lebih kecil, sehingga mengurangi varians model tanpa terlalu meningkatkan bias. Secara matematis, metode ini meminimalkan jumlah kuadrat galat ditambah dengan λ (lambda) dikalikan jumlah kuadrat koefisien.

~~Secara umum, persamaan optimisasi ridge~~ regression ~~dapat ditulis~~ sebagai:

'''Ridge regression''' (juga dikenal sebagai ''Tikhonov regularization'') adalah metode regresi linear dengan penalti norm kuadrat (''L2 penalty''). Fungsi objektifnya adalah:

''~~min~~'' ‖''y'' − ''Xβ''~~‖²₂ + λ‖β‖²₂~~

~~di mana λ ≥~~ 0 ~~adalah~~ parameter regularisasi yang ~~mengendalikan~~ besar ~~penalti~~.

:<math>\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \|\beta\|_2^2</math>

dengan:

* <math>y</math> : vektor target/output (berukuran <math>n \times 1</math>)

* <math>X</math> : matriks fitur/predictor (berukuran <math>n \times p</math>)

* <math>\beta</math> : vektor koefisien regresi (berukuran <math>p \times 1</math>)

* <math>\|y - X\beta\|_2^2</math> : jumlah kuadrat galat (''sum of squared errors'')

* <math>\lambda \|\beta\|_2^2</math> : penalti regularisasi L2

* <math>\lambda \geq 0</math> : parameter regularisasi

Ridge regression mencari solusi yang tidak hanya meminimalkan galat prediksi, tetapi juga membatasi besar koefisien agar tidak berlebihan, sehingga dapat mengurangi risiko ''overfitting''.

== Sejarah dan Pengembangan ==

@@ Baris 4: / Baris 4: @@
 Ridge regression merupakan pengembangan dari [[regresi linear]] biasa yang menambahkan sebuah istilah penalti berbasis norma L2 pada fungsi kerugian. Penalti ini memaksa nilai koefisien regresi menjadi lebih kecil, sehingga mengurangi varians model tanpa terlalu meningkatkan bias. Secara matematis, metode ini meminimalkan jumlah kuadrat galat ditambah dengan λ (lambda) dikalikan jumlah kuadrat koefisien.
-Secara umum, persamaan optimisasi ridge regression dapat ditulis sebagai:
+'''Ridge regression''' (juga dikenal sebagai ''Tikhonov regularization'') adalah metode regresi linear dengan penalti norm kuadrat (''L2 penalty''). Fungsi objektifnya adalah:
- ''min'' ‖''y'' − ''Xβ''‖²₂ + λ‖β‖²₂
-di mana λ ≥ 0 adalah parameter regularisasi yang mengendalikan besar penalti.
+:<math>\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \|\beta\|_2^2</math>
+dengan:
+* <math>y</math> : vektor target/output (berukuran <math>n \times 1</math>)
+* <math>X</math> : matriks fitur/predictor (berukuran <math>n \times p</math>)
+* <math>\beta</math> : vektor koefisien regresi (berukuran <math>p \times 1</math>)
+* <math>\|y - X\beta\|_2^2</math> : jumlah kuadrat galat (''sum of squared errors'')
+* <math>\lambda \|\beta\|_2^2</math> : penalti regularisasi L2
+* <math>\lambda \geq 0</math> : parameter regularisasi
+Ridge regression mencari solusi yang tidak hanya meminimalkan galat prediksi, tetapi juga membatasi besar koefisien agar tidak berlebihan, sehingga dapat mengurangi risiko ''overfitting''.
 == Sejarah dan Pengembangan ==