Lasso regression: Perbedaan antara revisi

Baris 4:

Lasso regression bekerja dengan menambahkan penalti L1 terhadap fungsi kerugian pada model regresi linear biasa. Penalti L1 mengacu pada jumlah nilai absolut dari koefisien variabel, yang dikalikan dengan parameter regulasi λ (lambda). Dengan adanya penalti ini, Lasso mampu melakukan penyusutan (*shrinkage*) terhadap koefisien, bahkan menghilangkan beberapa variabel yang dianggap tidak terlalu berpengaruh.

~~Secara matematis,~~ Lasso ~~meminimalkan fungsi objektif~~:

'''Lasso regression''' (''Least Absolute Shrinkage and Selection Operator'') adalah metode regresi linear dengan penalti norm absolut (''L1 penalty''). Fungsi objektifnya adalah:

: \(\min_{\beta} \left\{ \sum_{i=1}^n (y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij})^2 + \lambda \sum_{j=1}^p |\beta_j| \right\}\)

~~Penalti~~ L1 ~~ini berbeda~~ dengan penalti L2 ~~yang digunakan dalam [[Ridge~~ regression~~]], di mana penalti L2 tidak dapat menghilangkan~~ variabel ~~sepenuhnya~~.

:<math>\min_{\beta} \left\{ \sum_{i=1}^n \left(y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij}\right)^2 + \lambda \sum_{j=1}^p |\beta_j| \right\}</math>

dengan:

* <math>y_i</math> : nilai target pada observasi ke-''i''

* <math>x_{ij}</math> : nilai fitur ke-''j'' pada observasi ke-''i''

* <math>\beta_0</math> : intercept

* <math>\beta_j</math> : koefisien regresi untuk fitur ke-''j''

* <math>\lambda \geq 0</math> : parameter regularisasi

* <math>\sum_{j=1}^p |\beta_j|</math> : penalti regularisasi L1

Berbeda dengan ''ridge regression'' yang menggunakan penalti L2, Lasso regression cenderung menghasilkan solusi dengan banyak koefisien tepat sama dengan nol. Hal ini membuat Lasso berguna untuk ''feature selection'' (pemilihan variabel).

== Perbedaan dengan Ridge Regression ==

@@ Baris 4: / Baris 4: @@
 Lasso regression bekerja dengan menambahkan penalti L1 terhadap fungsi kerugian pada model regresi linear biasa. Penalti L1 mengacu pada jumlah nilai absolut dari koefisien variabel, yang dikalikan dengan parameter regulasi λ (lambda). Dengan adanya penalti ini, Lasso mampu melakukan penyusutan (*shrinkage*) terhadap koefisien, bahkan menghilangkan beberapa variabel yang dianggap tidak terlalu berpengaruh.
-Secara matematis, Lasso meminimalkan fungsi objektif:
+'''Lasso regression''' (''Least Absolute Shrinkage and Selection Operator'') adalah metode regresi linear dengan penalti norm absolut (''L1 penalty''). Fungsi objektifnya adalah:
-:  \(\min_{\beta} \left\{ \sum_{i=1}^n (y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij})^2 + \lambda \sum_{j=1}^p |\beta_j| \right\}\)
-Penalti L1 ini berbeda dengan penalti L2 yang digunakan dalam [[Ridge regression]], di mana penalti L2 tidak dapat menghilangkan variabel sepenuhnya.
+:<math>\min_{\beta} \left\{ \sum_{i=1}^n \left(y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij}\right)^2 + \lambda \sum_{j=1}^p |\beta_j| \right\}</math>
+dengan:
+* <math>y_i</math> : nilai target pada observasi ke-''i''
+* <math>x_{ij}</math> : nilai fitur ke-''j'' pada observasi ke-''i''
+* <math>\beta_0</math> : intercept
+* <math>\beta_j</math> : koefisien regresi untuk fitur ke-''j''
+* <math>\lambda \geq 0</math> : parameter regularisasi
+* <math>\sum_{j=1}^p |\beta_j|</math> : penalti regularisasi L1
+Berbeda dengan ''ridge regression'' yang menggunakan penalti L2, Lasso regression cenderung menghasilkan solusi dengan banyak koefisien tepat sama dengan nol. Hal ini membuat Lasso berguna untuk ''feature selection'' (pemilihan variabel).
 == Perbedaan dengan Ridge Regression ==