Lasso regression: Perbedaan antara revisi
Tidak ada ringkasan suntingan |
|||
| (1 revisi perantara oleh pengguna yang sama tidak ditampilkan) | |||
| Baris 1: | Baris 1: | ||
Lasso regression adalah salah satu metode dalam [[regresi linear]] yang digunakan untuk melakukan seleksi variabel dan regularisasi secara bersamaan. Nama "Lasso" merupakan singkatan dari | Lasso regression adalah salah satu metode dalam [[regresi linear]] yang digunakan untuk melakukan seleksi variabel dan regularisasi secara bersamaan. Nama "Lasso" merupakan singkatan dari '''Least Absolute Shrinkage and Selection Operator'''. Teknik ini dikembangkan untuk mengatasi masalah [[overfitting]] dengan menambahkan penalti terhadap besarnya nilai [[koefisien]] variabel, sehingga beberapa koefisien dapat menjadi nol dan menghasilkan model yang lebih sederhana. Lasso regression banyak diterapkan dalam [[statistika]], [[machine learning]], dan [[analisis data]] modern, terutama ketika jumlah variabel prediktor sangat banyak. | ||
== Konsep Dasar == | == Konsep Dasar == | ||
Lasso regression bekerja dengan menambahkan penalti L1 terhadap fungsi kerugian pada model regresi linear biasa. Penalti L1 mengacu pada jumlah nilai absolut dari koefisien variabel, yang dikalikan dengan parameter regulasi λ (lambda). Dengan adanya penalti ini, Lasso mampu melakukan penyusutan ( | Lasso regression bekerja dengan menambahkan penalti L1 terhadap fungsi kerugian pada model regresi linear biasa. Penalti L1 mengacu pada jumlah nilai absolut dari koefisien variabel, yang dikalikan dengan parameter regulasi λ (lambda). Dengan adanya penalti ini, Lasso mampu melakukan penyusutan ('''shrinkage''') terhadap koefisien, bahkan menghilangkan beberapa variabel yang dianggap tidak terlalu berpengaruh. | ||
'''Lasso regression''' (''Least Absolute Shrinkage and Selection Operator'') adalah metode regresi linear dengan penalti norm absolut (''L1 penalty''). Fungsi objektifnya adalah: | '''Lasso regression''' (''Least Absolute Shrinkage and Selection Operator'') adalah metode regresi linear dengan penalti norm absolut (''L1 penalty''). Fungsi objektifnya adalah: | ||
| Baris 17: | Baris 17: | ||
Berbeda dengan ''ridge regression'' yang menggunakan penalti L2, Lasso regression cenderung menghasilkan solusi dengan banyak koefisien tepat sama dengan nol. Hal ini membuat Lasso berguna untuk ''feature selection'' (pemilihan variabel). | Berbeda dengan ''ridge regression'' yang menggunakan penalti L2, Lasso regression cenderung menghasilkan solusi dengan banyak koefisien tepat sama dengan nol. Hal ini membuat Lasso berguna untuk ''feature selection'' (pemilihan variabel). | ||
== Perbedaan dengan Ridge Regression == | == Perbedaan dengan Ridge Regression == | ||
Perbedaan utama antara Lasso dan Ridge regression terletak pada jenis penalti yang digunakan. Ridge menggunakan penalti L2 (kuadrat dari koefisien), sedangkan Lasso menggunakan penalti L1 (nilai absolut koefisien). Penalti L1 dalam Lasso cenderung menghasilkan model yang lebih jarang ( | Perbedaan utama antara Lasso dan Ridge regression terletak pada jenis penalti yang digunakan. Ridge menggunakan penalti L2 (kuadrat dari koefisien), sedangkan Lasso menggunakan penalti L1 (nilai absolut koefisien). Penalti L1 dalam Lasso cenderung menghasilkan model yang lebih jarang ('''sparse'''), karena dapat membuat koefisien menjadi tepat nol. | ||
Dalam praktiknya, Lasso sangat bermanfaat ketika dihadapkan pada data dengan banyak variabel yang saling berkorelasi. Dengan menghilangkan beberapa variabel, Lasso membantu meningkatkan interpretabilitas model tanpa mengorbankan akurasi secara signifikan. | Dalam praktiknya, Lasso sangat bermanfaat ketika dihadapkan pada data dengan banyak variabel yang saling berkorelasi. Dengan menghilangkan beberapa variabel, Lasso membantu meningkatkan interpretabilitas model tanpa mengorbankan akurasi secara signifikan. | ||
| Baris 38: | Baris 39: | ||
Parameter λ dalam Lasso menentukan seberapa besar penalti yang diberikan pada koefisien. Jika λ terlalu kecil, model akan mendekati regresi linear biasa tanpa regularisasi. Sebaliknya, jika λ terlalu besar, banyak koefisien akan menjadi nol sehingga model mungkin kehilangan informasi penting. | Parameter λ dalam Lasso menentukan seberapa besar penalti yang diberikan pada koefisien. Jika λ terlalu kecil, model akan mendekati regresi linear biasa tanpa regularisasi. Sebaliknya, jika λ terlalu besar, banyak koefisien akan menjadi nol sehingga model mungkin kehilangan informasi penting. | ||
Pemilihan λ yang optimal biasanya dilakukan menggunakan [[cross-validation]], di mana data dibagi menjadi beberapa lipatan ( | Pemilihan λ yang optimal biasanya dilakukan menggunakan [[cross-validation]], di mana data dibagi menjadi beberapa lipatan ('''fold''') dan diuji untuk menemukan nilai λ yang memberikan kinerja terbaik. | ||
== Implementasi dalam Machine Learning == | == Implementasi dalam Machine Learning == | ||
| Baris 54: | Baris 55: | ||
Elastic Net adalah metode yang menggabungkan penalti L1 dari Lasso dan penalti L2 dari Ridge regression. Pendekatan ini mengatasi kelemahan Lasso yang cenderung memilih hanya satu variabel dari sekelompok variabel yang berkorelasi tinggi, dengan mempertahankan sebagian informasi dari variabel lainnya. | Elastic Net adalah metode yang menggabungkan penalti L1 dari Lasso dan penalti L2 dari Ridge regression. Pendekatan ini mengatasi kelemahan Lasso yang cenderung memilih hanya satu variabel dari sekelompok variabel yang berkorelasi tinggi, dengan mempertahankan sebagian informasi dari variabel lainnya. | ||
Dengan mengatur parameter campuran ( | Dengan mengatur parameter campuran ('''mixing parameter'''), Elastic Net dapat berperilaku seperti Lasso, Ridge, atau kombinasi keduanya. | ||
== Sejarah dan Pengembangan == | == Sejarah dan Pengembangan == | ||