Entropiya termodinamikada tizimning tartibsizlik darajasi yoki energiya tarqalganligi o‘lchovi hisoblanadi. Axborot nazariyasida esa ma’lumotlar to‘plamini kodlashning optimal uzunligini aniqlash uchun ishlatiladi