Что такое энтропия в информатике?

Энтропия в информатике - это мера неопределённости или количества информации в сообщении. Чем больше неожиданности в событии, тем больше энтропия. То есть, это «уровень сюрприза». Если событие предсказуемо (например, солнце встаёт утром), энтропия маленькая, если событие непредсказуемо (например, результат броска монеты), энтропия большая.