Axborot nazariyasi va entropiya tushunchasi, statik ma'lumotlar siqish usullari. Shannon entropiyasi axborotning o'lchovi bo'lib, ma'lum bir xabar to'plamining noaniqlik darajasini ifodalaydi. Entropiyaning SI birlikdagi o'lchami bit hisoblanadi