Entropi dalam Teori Informasi

Dalam bidang teori informasi, entropi digunakan untuk mengukur tingkat ketidakpastian atau informasi yang terkandung dalam suatu pesan. Konsep ini diperkenalkan oleh Claude Shannon pada tahun 1948 dan menjadi landasan bagi perkembangan teknologi komunikasi modern.

Definisi Entropi Informasi

Entropi informasi, atau sering disebut sebagai entropi Shannon, adalah ukuran rata-rata ketidakpastian dari sumber pesan. Semakin besar entropi suatu pesan, semakin sulit untuk diprediksi dan semakin banyak informasi yang dikandungnya.

Rumus Entropi Shannon

Rumus entropi Shannon menggunakan probabilitas kemunculan setiap simbol dalam pesan. Jika sebuah pesan memiliki simbol yang sama kemungkinannya, maka entropi akan mencapai nilai maksimum. Rumus ini sangat berguna dalam kompresi data dan kriptografi.

Aplikasi dalam Komunikasi

Dalam sistem komunikasi digital, entropi digunakan untuk menentukan batas efisiensi kompresi data dan tingkat keamanan transmisi pesan. Semakin tinggi entropi, semakin besar tantangan dalam mendeteksi atau menebak isi pesan tersebut.