- Расстояние Кульбака — Лейблера
-
Расстояние Кульбака — Лейблера
Расстояние Ку́льбака — Ле́йблера в теории информации — это мера того, насколько далеки друг от друга два вероятностных распределения.
Дискретные распределения
Пусть даны две дискретные случайные величины X,Y, принимающие значения в одном множестве , и их распределения задаются функциями вероятности p и q соответственно. Тогда расстояние Кульбака — Лейблера DKL задаётся формулой:
Непрерывные распределения
Пусть теперь даны две абсолютно непрерывные случайные величины X,Y, и их распределения задаются плотностями вероятности p и q соответственно. Тогда расстояние Кульбака — Лейблера DKL задаётся формулой:
Свойства
- Расстояние Кульбака — Лейблера всегда неотрицательно, и равно нулю тогда и только тогда, когда X = Y почти наверное.
- Расстояние Кульбака — Лейблера, вообще говоря, не симметрично, то есть
- .
В частности, оно не является метрикой на пространстве распределений.
Wikimedia Foundation. 2010.
Расстояние Кульбака-Лейблера — в теории информации это мера того, насколько далеки друг от друга два вероятностных распределения. Дискретные распределения Пусть даны две дискретные случайные величины X,Y, принимающие значения в одном множестве , и их распределения задаются… … Википедия
Расстояние Кульбака — Расстояние (дивергенция) Кульбака Лейблера (информационная дивергенция,относительная энтропия) в теории информации это несимметричная мера удаленности друг от друга двух вероятностных распределений.[1]. Обычно одно из сравниваемых распределений… … Википедия
Цепь Маркова — Пример цепи с двумя состояниями Цепь Маркова последовательность случайных событий с конечным или счётным числом исходов, характеризующаяся тем свойством, что, го … Википедия
Маркова цепь — Цепь Маркова последовательность случайных событий с конечным или счётным бесконечным числом исходов, характеризующаяся тем свойством, что, говоря нестрого, при фиксированном настоящем будущее независимо от прошлого. Названа в честь А. А. Маркова … Википедия
Марковские цепи — Цепь Маркова последовательность случайных событий с конечным или счётным бесконечным числом исходов, характеризующаяся тем свойством, что, говоря нестрого, при фиксированном настоящем будущее независимо от прошлого. Названа в честь А. А. Маркова … Википедия
Матрица переходных вероятностей — Цепь Маркова последовательность случайных событий с конечным или счётным бесконечным числом исходов, характеризующаяся тем свойством, что, говоря нестрого, при фиксированном настоящем будущее независимо от прошлого. Названа в честь А. А. Маркова … Википедия
Цепи Маркова — Цепь Маркова последовательность случайных событий с конечным или счётным бесконечным числом исходов, характеризующаяся тем свойством, что, говоря нестрого, при фиксированном настоящем будущее независимо от прошлого. Названа в честь А. А. Маркова … Википедия
Цепь (матем.) — Цепь Маркова последовательность случайных событий с конечным или счётным бесконечным числом исходов, характеризующаяся тем свойством, что, говоря нестрого, при фиксированном настоящем будущее независимо от прошлого. Названа в честь А. А. Маркова … Википедия
Кульбак, Соломон — В Википедии есть статьи о других людях с такой фамилией, см. Кульбак. Соломон Кульбак Solomon Kullback Род деятельности: Криптограф, математик … Википедия
Информация Фишера — В математической статистике и теории информации информацией Фишера называется дисперсия функции вклада выборки. Эта функция названа в честь описавшего её Рональда Фишера. Содержание 1 Определение 2 Свойства … Википедия