Lihat sumber Long Short-Term Memory

'''Long Short-Term Memory''' ('''LSTM''') adalah jenis arsitektur [[jaringan saraf tiruan]] yang termasuk dalam kategori [[recurrent neural network]] (RNN). LSTM dirancang untuk mengatasi masalah yang sering muncul pada RNN tradisional, yaitu hilangnya informasi jangka panjang akibat fenomena yang disebut ''vanishing gradient''. Dengan mekanisme gerbang (''gates'') khusus, LSTM mampu mempertahankan dan mengakses informasi selama periode waktu yang panjang, sehingga sangat efektif digunakan dalam pemrosesan [[data deret waktu]], [[pengolahan bahasa alami]], dan berbagai aplikasi lain yang memerlukan pemahaman konteks sekuensial.

== Sejarah ==
LSTM pertama kali diperkenalkan oleh [[Sepp Hochreiter]] dan [[Jürgen Schmidhuber]] pada tahun 1997. Penelitian mereka merupakan respons terhadap keterbatasan RNN standar yang kesulitan mempertahankan informasi dalam jangka waktu panjang. Selanjutnya, LSTM mengalami pengembangan signifikan oleh beberapa peneliti lain, termasuk Felix Gers yang memperkenalkan ''forget gate'' pada tahun 1999. Penambahan komponen ini membuat LSTM menjadi lebih fleksibel dalam memilih informasi mana yang harus disimpan atau dihapus.

== Arsitektur ==
Secara umum, LSTM terdiri dari sel memori (''memory cell'') dan tiga jenis gerbang:
# '''Input gate''' – Mengendalikan seberapa besar informasi baru yang akan disimpan dalam sel memori.
# '''Forget gate''' – Mengatur seberapa banyak informasi lama yang akan dihapus dari sel memori.
# '''Output gate''' – Menentukan informasi mana yang akan dikeluarkan dari sel memori sebagai output.

Setiap gerbang menggunakan fungsi aktivasi seperti [[sigmoid]] dan [[tanh]] untuk mengatur aliran informasi. Representasi matematisnya melibatkan operasi matriks dan vektor, misalnya:
<math>i_t = \sigma(W_i \cdot x_t + U_i \cdot h_{t-1} + b_i)</math>
di mana <math>i_t</math> adalah nilai input gate pada waktu t, <math>x_t</math> adalah input, dan <math>h_{t-1}</math> adalah output tersembunyi dari langkah sebelumnya.

== Mekanisme Kerja ==
LSTM bekerja dengan memelihara keadaan internal yang disebut ''cell state''. Pada setiap langkah waktu, cell state dapat dimodifikasi oleh input gate dan forget gate. Forget gate memutuskan bagian mana dari cell state yang harus dihapus, sedangkan input gate menambahkan informasi baru. Output gate kemudian menghasilkan keluaran berdasarkan cell state yang diperbarui. Dengan cara ini, LSTM dapat mempertahankan informasi penting dari langkah-langkah sebelumnya selama diperlukan.

== Keunggulan Dibanding RNN Tradisional ==
Keunggulan utama LSTM adalah kemampuannya mengatasi masalah ''vanishing gradient'' yang sering menghambat performa RNN tradisional dalam memproses urutan panjang. Gradien yang tidak cepat menghilang memungkinkan LSTM untuk mempelajari dependensi jangka panjang antara elemen-elemen dalam urutan. Hal ini membuat LSTM unggul dalam tugas-tugas seperti [[pengenalan ucapan]], [[terjemahan mesin]], dan [[prediksi deret waktu]].

== Variasi LSTM ==
Seiring perkembangan penelitian, beberapa variasi LSTM telah dikembangkan untuk meningkatkan efisiensi atau menyesuaikan dengan aplikasi tertentu. Contoh variasinya meliputi:
# '''Peephole LSTM''' – Mengizinkan gerbang untuk melihat cell state secara langsung.
# '''Coupled Forget and Input Gate''' – Menggabungkan fungsi forget gate dan input gate untuk mengurangi jumlah parameter.
# '''Bidirectional LSTM''' – Menggunakan dua LSTM yang berjalan maju dan mundur untuk menangkap konteks dari kedua arah.

== Aplikasi ==
LSTM digunakan secara luas dalam berbagai bidang, di antaranya:
# [[Pengolahan bahasa alami]] seperti analisis sentimen, penandaan bagian ujaran, dan pemodelan bahasa.
# [[Pengolahan sinyal]] seperti pengenalan ucapan dan musik.
# [[Prediksi deret waktu]] untuk data keuangan, cuaca, dan lalu lintas.
# [[Visi komputer]] untuk analisis video atau teks yang dihasilkan dari gambar.

== Rumus dan Representasi Matematis ==
Model LSTM dapat dijelaskan secara formal menggunakan persamaan berikut:
<math>f_t = \sigma(W_f \cdot x_t + U_f \cdot h_{t-1} + b_f)</math>  
<math>i_t = \sigma(W_i \cdot x_t + U_i \cdot h_{t-1} + b_i)</math>  
<math>\tilde{C}_t = \tanh(W_C \cdot x_t + U_C \cdot h_{t-1} + b_C)</math>  
<math>C_t = f_t * C_{t-1} + i_t * \tilde{C}_t</math>  
<math>o_t = \sigma(W_o \cdot x_t + U_o \cdot h_{t-1} + b_o)</math>  
<math>h_t = o_t * \tanh(C_t)</math>  

Dalam representasi ini, <math>f_t</math> adalah forget gate, <math>i_t</math> adalah input gate, <math>o_t</math> adalah output gate, dan <math>C_t</math> adalah cell state pada waktu t.

== Perbandingan dengan GRU ==
[[Gated Recurrent Unit]] (GRU) adalah arsitektur yang mirip dengan LSTM namun lebih sederhana. GRU menggabungkan cell state dan hidden state menjadi satu dan hanya memiliki dua gerbang: reset gate dan update gate. Meskipun GRU sering kali memerlukan lebih sedikit parameter dan komputasi, LSTM terkadang memberikan hasil yang lebih baik pada masalah yang memerlukan pemodelan konteks jangka panjang.

== Tantangan dan Keterbatasan ==
Meskipun LSTM memiliki banyak keunggulan, arsitektur ini juga memiliki keterbatasan. Kompleksitas modelnya menyebabkan waktu pelatihan yang lebih lama dan membutuhkan sumber daya komputasi yang besar. Selain itu, untuk urutan yang sangat panjang, LSTM tetap menghadapi tantangan dalam mempertahankan informasi secara sempurna. Penelitian terkini mengarah pada penggunaan [[transformer]] yang menawarkan pendekatan berbeda untuk pemodelan urutan.

== Implementasi ==
LSTM telah diimplementasikan dalam berbagai pustaka [[perangkat lunak]] [[pembelajaran mesin]] seperti [[TensorFlow]], [[PyTorch]], dan [[Keras]]. Pustaka ini menyediakan fungsi dan modul siap pakai untuk membangun, melatih, dan menguji model LSTM, sehingga memudahkan pengembang dan peneliti dalam menerapkannya pada berbagai dataset.

== Penelitian Lanjutan ==
Penelitian terkait LSTM terus berkembang, termasuk eksplorasi integrasi dengan arsitektur lain seperti [[convolutional neural network]] (CNN) dan transformer. Selain itu, terdapat upaya untuk mengoptimalkan LSTM agar dapat berjalan lebih efisien di perangkat dengan daya komputasi terbatas, seperti [[Internet of Things]] (IoT) dan [[komputasi tepi]].

== Kesimpulan ==
LSTM merupakan salah satu inovasi penting dalam bidang jaringan saraf tiruan, khususnya untuk pemodelan data sekuensial. Dengan mekanisme gerbang yang unik, LSTM mampu mempertahankan informasi jangka panjang dan mengatasi kelemahan RNN tradisional. Meskipun muncul teknologi baru seperti transformer, LSTM tetap menjadi alat yang relevan dan banyak digunakan dalam berbagai aplikasi modern.