Lasso regression: Perbedaan antara revisi

(3 revisi perantara oleh pengguna yang sama tidak ditampilkan)

Baris 1:

Lasso regression adalah salah satu metode dalam [[regresi linear]] yang digunakan untuk melakukan seleksi variabel dan regularisasi secara bersamaan. Nama "Lasso" merupakan singkatan dari *Least Absolute Shrinkage and Selection Operator*. Teknik ini dikembangkan untuk mengatasi masalah [[overfitting]] dengan menambahkan penalti terhadap besarnya nilai [[koefisien]] variabel, sehingga beberapa koefisien dapat menjadi nol dan menghasilkan model yang lebih sederhana. Lasso regression banyak diterapkan dalam [[statistika]], [[machine learning]], dan [[analisis data]] modern, terutama ketika jumlah variabel prediktor sangat banyak.

Lasso regression adalah salah satu metode dalam [[regresi linear]] yang digunakan untuk melakukan seleksi variabel dan regularisasi secara bersamaan. Nama "Lasso" merupakan singkatan dari '''Least Absolute Shrinkage and Selection Operator'''. Teknik ini dikembangkan untuk mengatasi masalah [[overfitting]] dengan menambahkan penalti terhadap besarnya nilai [[koefisien]] variabel, sehingga beberapa koefisien dapat menjadi nol dan menghasilkan model yang lebih sederhana. Lasso regression banyak diterapkan dalam [[statistika]], [[machine learning]], dan [[analisis data]] modern, terutama ketika jumlah variabel prediktor sangat banyak.

== Konsep Dasar ==

Lasso regression bekerja dengan menambahkan penalti L1 terhadap fungsi kerugian pada model regresi linear biasa. Penalti L1 mengacu pada jumlah nilai absolut dari koefisien variabel, yang dikalikan dengan parameter regulasi λ (lambda). Dengan adanya penalti ini, Lasso mampu melakukan penyusutan (*shrinkage*) terhadap koefisien, bahkan menghilangkan beberapa variabel yang dianggap tidak terlalu berpengaruh.

Lasso regression bekerja dengan menambahkan penalti L1 terhadap fungsi kerugian pada model regresi linear biasa. Penalti L1 mengacu pada jumlah nilai absolut dari koefisien variabel, yang dikalikan dengan parameter regulasi λ (lambda). Dengan adanya penalti ini, Lasso mampu melakukan penyusutan ('''shrinkage''') terhadap koefisien, bahkan menghilangkan beberapa variabel yang dianggap tidak terlalu berpengaruh.

~~Secara matematis,~~ Lasso ~~meminimalkan fungsi objektif~~:

'''Lasso regression''' (''Least Absolute Shrinkage and Selection Operator'') adalah metode regresi linear dengan penalti norm absolut (''L1 penalty''). Fungsi objektifnya adalah:

: \(\min_{\beta} \left\{ \sum_{i=1}^n (y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij})^2 + \lambda \sum_{j=1}^p |\beta_j| \right\}\)

~~Penalti~~ L1 ~~ini berbeda~~ dengan penalti L2 ~~yang digunakan dalam [[Ridge~~ regression~~]], di mana penalti L2 tidak dapat menghilangkan~~ variabel ~~sepenuhnya~~.

:<math>\min_{\beta} \left\{ \sum_{i=1}^n \left(y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij}\right)^2 + \lambda \sum_{j=1}^p |\beta_j| \right\}</math>

dengan:

* <math>y_i</math> : nilai target pada observasi ke-''i''

* <math>x_{ij}</math> : nilai fitur ke-''j'' pada observasi ke-''i''

* <math>\beta_0</math> : intercept

* <math>\beta_j</math> : koefisien regresi untuk fitur ke-''j''

* <math>\lambda \geq 0</math> : parameter regularisasi

* <math>\sum_{j=1}^p |\beta_j|</math> : penalti regularisasi L1

Berbeda dengan ''ridge regression'' yang menggunakan penalti L2, Lasso regression cenderung menghasilkan solusi dengan banyak koefisien tepat sama dengan nol. Hal ini membuat Lasso berguna untuk ''feature selection'' (pemilihan variabel).

== Perbedaan dengan Ridge Regression ==

Perbedaan utama antara Lasso dan Ridge regression terletak pada jenis penalti yang digunakan. Ridge menggunakan penalti L2 (kuadrat dari koefisien), sedangkan Lasso menggunakan penalti L1 (nilai absolut koefisien). Penalti L1 dalam Lasso cenderung menghasilkan model yang lebih jarang (*sparse*), karena dapat membuat koefisien menjadi tepat nol.

Perbedaan utama antara Lasso dan Ridge regression terletak pada jenis penalti yang digunakan. Ridge menggunakan penalti L2 (kuadrat dari koefisien), sedangkan Lasso menggunakan penalti L1 (nilai absolut koefisien). Penalti L1 dalam Lasso cenderung menghasilkan model yang lebih jarang ('''sparse'''), karena dapat membuat koefisien menjadi tepat nol.

Dalam praktiknya, Lasso sangat bermanfaat ketika dihadapkan pada data dengan banyak variabel yang saling berkorelasi. Dengan menghilangkan beberapa variabel, Lasso membantu meningkatkan interpretabilitas model tanpa mengorbankan akurasi secara signifikan.

Baris 29:

Baris 39:

Parameter λ dalam Lasso menentukan seberapa besar penalti yang diberikan pada koefisien. Jika λ terlalu kecil, model akan mendekati regresi linear biasa tanpa regularisasi. Sebaliknya, jika λ terlalu besar, banyak koefisien akan menjadi nol sehingga model mungkin kehilangan informasi penting.

Pemilihan λ yang optimal biasanya dilakukan menggunakan [[cross-validation]], di mana data dibagi menjadi beberapa lipatan (*fold*) dan diuji untuk menemukan nilai λ yang memberikan kinerja terbaik.

Pemilihan λ yang optimal biasanya dilakukan menggunakan [[cross-validation]], di mana data dibagi menjadi beberapa lipatan ('''fold''') dan diuji untuk menemukan nilai λ yang memberikan kinerja terbaik.

== Implementasi dalam Machine Learning ==

Baris 45:

Baris 55:

Elastic Net adalah metode yang menggabungkan penalti L1 dari Lasso dan penalti L2 dari Ridge regression. Pendekatan ini mengatasi kelemahan Lasso yang cenderung memilih hanya satu variabel dari sekelompok variabel yang berkorelasi tinggi, dengan mempertahankan sebagian informasi dari variabel lainnya.

Dengan mengatur parameter campuran (*mixing parameter*), Elastic Net dapat berperilaku seperti Lasso, Ridge, atau kombinasi keduanya.

Dengan mengatur parameter campuran ('''mixing parameter'''), Elastic Net dapat berperilaku seperti Lasso, Ridge, atau kombinasi keduanya.

== Sejarah dan Pengembangan ==

@@ Baris 1: / Baris 1: @@
-Lasso regression adalah salah satu metode dalam [[regresi linear]] yang digunakan untuk melakukan seleksi variabel dan regularisasi secara bersamaan. Nama "Lasso" merupakan singkatan dari *Least Absolute Shrinkage and Selection Operator*. Teknik ini dikembangkan untuk mengatasi masalah [[overfitting]] dengan menambahkan penalti terhadap besarnya nilai [[koefisien]] variabel, sehingga beberapa koefisien dapat menjadi nol dan menghasilkan model yang lebih sederhana. Lasso regression banyak diterapkan dalam [[statistika]], [[machine learning]], dan [[analisis data]] modern, terutama ketika jumlah variabel prediktor sangat banyak.
+Lasso regression adalah salah satu metode dalam [[regresi linear]] yang digunakan untuk melakukan seleksi variabel dan regularisasi secara bersamaan. Nama "Lasso" merupakan singkatan dari '''Least Absolute Shrinkage and Selection Operator'''. Teknik ini dikembangkan untuk mengatasi masalah [[overfitting]] dengan menambahkan penalti terhadap besarnya nilai [[koefisien]] variabel, sehingga beberapa koefisien dapat menjadi nol dan menghasilkan model yang lebih sederhana. Lasso regression banyak diterapkan dalam [[statistika]], [[machine learning]], dan [[analisis data]] modern, terutama ketika jumlah variabel prediktor sangat banyak.
 == Konsep Dasar ==
-Lasso regression bekerja dengan menambahkan penalti L1 terhadap fungsi kerugian pada model regresi linear biasa. Penalti L1 mengacu pada jumlah nilai absolut dari koefisien variabel, yang dikalikan dengan parameter regulasi λ (lambda). Dengan adanya penalti ini, Lasso mampu melakukan penyusutan (*shrinkage*) terhadap koefisien, bahkan menghilangkan beberapa variabel yang dianggap tidak terlalu berpengaruh.
+Lasso regression bekerja dengan menambahkan penalti L1 terhadap fungsi kerugian pada model regresi linear biasa. Penalti L1 mengacu pada jumlah nilai absolut dari koefisien variabel, yang dikalikan dengan parameter regulasi λ (lambda). Dengan adanya penalti ini, Lasso mampu melakukan penyusutan ('''shrinkage''') terhadap koefisien, bahkan menghilangkan beberapa variabel yang dianggap tidak terlalu berpengaruh.
-Secara matematis, Lasso meminimalkan fungsi objektif:
+'''Lasso regression''' (''Least Absolute Shrinkage and Selection Operator'') adalah metode regresi linear dengan penalti norm absolut (''L1 penalty''). Fungsi objektifnya adalah:
-:  \(\min_{\beta} \left\{ \sum_{i=1}^n (y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij})^2 + \lambda \sum_{j=1}^p |\beta_j| \right\}\)
-Penalti L1 ini berbeda dengan penalti L2 yang digunakan dalam [[Ridge regression]], di mana penalti L2 tidak dapat menghilangkan variabel sepenuhnya.
+:<math>\min_{\beta} \left\{ \sum_{i=1}^n \left(y_i - \beta_0 - \sum_{j=1}^p \beta_j x_{ij}\right)^2 + \lambda \sum_{j=1}^p |\beta_j| \right\}</math>
+dengan:
+* <math>y_i</math> : nilai target pada observasi ke-''i''
+* <math>x_{ij}</math> : nilai fitur ke-''j'' pada observasi ke-''i''
+* <math>\beta_0</math> : intercept
+* <math>\beta_j</math> : koefisien regresi untuk fitur ke-''j''
+* <math>\lambda \geq 0</math> : parameter regularisasi
+* <math>\sum_{j=1}^p |\beta_j|</math> : penalti regularisasi L1
+Berbeda dengan ''ridge regression'' yang menggunakan penalti L2, Lasso regression cenderung menghasilkan solusi dengan banyak koefisien tepat sama dengan nol. Hal ini membuat Lasso berguna untuk ''feature selection'' (pemilihan variabel).
 == Perbedaan dengan Ridge Regression ==
-Perbedaan utama antara Lasso dan Ridge regression terletak pada jenis penalti yang digunakan. Ridge menggunakan penalti L2 (kuadrat dari koefisien), sedangkan Lasso menggunakan penalti L1 (nilai absolut koefisien). Penalti L1 dalam Lasso cenderung menghasilkan model yang lebih jarang (*sparse*), karena dapat membuat koefisien menjadi tepat nol.
+Perbedaan utama antara Lasso dan Ridge regression terletak pada jenis penalti yang digunakan. Ridge menggunakan penalti L2 (kuadrat dari koefisien), sedangkan Lasso menggunakan penalti L1 (nilai absolut koefisien). Penalti L1 dalam Lasso cenderung menghasilkan model yang lebih jarang ('''sparse'''), karena dapat membuat koefisien menjadi tepat nol.
 Dalam praktiknya, Lasso sangat bermanfaat ketika dihadapkan pada data dengan banyak variabel yang saling berkorelasi. Dengan menghilangkan beberapa variabel, Lasso membantu meningkatkan interpretabilitas model tanpa mengorbankan akurasi secara signifikan.
@@ Baris 29: / Baris 39: @@
 Parameter λ dalam Lasso menentukan seberapa besar penalti yang diberikan pada koefisien. Jika λ terlalu kecil, model akan mendekati regresi linear biasa tanpa regularisasi. Sebaliknya, jika λ terlalu besar, banyak koefisien akan menjadi nol sehingga model mungkin kehilangan informasi penting.
-Pemilihan λ yang optimal biasanya dilakukan menggunakan [[cross-validation]], di mana data dibagi menjadi beberapa lipatan (*fold*) dan diuji untuk menemukan nilai λ yang memberikan kinerja terbaik.
+Pemilihan λ yang optimal biasanya dilakukan menggunakan [[cross-validation]], di mana data dibagi menjadi beberapa lipatan ('''fold''') dan diuji untuk menemukan nilai λ yang memberikan kinerja terbaik.
 == Implementasi dalam Machine Learning ==
@@ Baris 45: / Baris 55: @@
 Elastic Net adalah metode yang menggabungkan penalti L1 dari Lasso dan penalti L2 dari Ridge regression. Pendekatan ini mengatasi kelemahan Lasso yang cenderung memilih hanya satu variabel dari sekelompok variabel yang berkorelasi tinggi, dengan mempertahankan sebagian informasi dari variabel lainnya.
-Dengan mengatur parameter campuran (*mixing parameter*), Elastic Net dapat berperilaku seperti Lasso, Ridge, atau kombinasi keduanya.
+Dengan mengatur parameter campuran ('''mixing parameter'''), Elastic Net dapat berperilaku seperti Lasso, Ridge, atau kombinasi keduanya.
 == Sejarah dan Pengembangan ==