- Дифференциальная энтропия
-
Дифференциальная энтропия — средняя информация непрерывного источника. Определяется как
- бит
где — плотность распределения сигнала непрерывного источника как случайной величины.
Условная дифференциальная энтропия для величины при заданной величине определяется следующей формулой:
- бит
Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами, а также могут быть равны бесконечности.
Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника:
- (для независимых источников — равенство)
Дифференциальная энтропия распределений с определенной фиксированной дисперсией максимальна в случае гауссова распределения плотности вероятности сигнала непрерывного источника как случайной величины и равна
- бит
Для равномерного распределения:
- бит
- бит
Литература
- Вернер М. 8.1 Дифференциальная энтропия // Основы кодирования = Information und Codierung / пер. Д.К. Зигангирова. — ЗАО «РИЦ „Техносфера“», 2004. — С. 109—114. — (Мир программирования). — 3 000 экз. — ISBN 5-94836-019-9
Ссылки
Категория:- Теория информации
Wikimedia Foundation. 2010.