Тест отношения правдоподобия

Тест отношения правдоподобия (LR, англ. Likelihood ratio test) — статистический тест, используемый для проверки ограничений на параметры статистических моделей, оценённых на основе выборочных данных. Является одним из трёх базовых тестов проверки ограничений наряду с тестом множителей Лагранжа и тестом Вальда.

Сущность и процедура теста

Пусть имеется эконометрическая модель с вектором параметров $b$. Необходимо проверить по выборочным данным гипотезу $H_0:~g(b)=0$, где g-совокупность (вектор) некоторых функций параметров. Идея теста основана на сравнении функций правдоподобия для длинной модели (без ограничений) и короткой модели (с ограничениями). Оказывается, что следующая простая статистика отношения правдоподобия

$LR=2(l_L-l_S)=2\ln \frac {L_L}{L_S}$

где $l_L, ~l_S$ - значения логарифмической функции правдоподобия длинной и короткой моделей соответственно.

при нулевой гипотезе имеет (возможно асимптотически) распределение $\chi^2(q)$ - Хи-квадрат с q степенями свободы (q-количество ограничений). Поэтому, если значение статистики больше критического значения этого распределения при заданном уровне значимости, то ограничения отвергаются и предпочтение отдается длинной модели. В противном случае предпочтение отдается короткой модели.

Частный случай

В случае, если случайные ошибки модели являются $iid N(0,\sigma^2)$, то можно показать, что

$LR=n \ln \frac {ESS_S}{ESS_L}$

В частности, при проверке значимости регрессии $ESS_S=TSS$, следовательно

$LR=n \ln \frac {TSS}{ESS}=n\ln \frac {1}{1-R^2}=-n\ln (1-R^2)$

Взаимосвязь с другими тестами

Доказано, что тест Вальда (W), тест отношения правдоподобия (LR) и тест множителей Лагранжа (LM)- асимптотически эквивалентные тесты (LM=LR=W). Тем не менее для конечных выборок значения статистик не совпадают. Для линейных ограничений доказано неравенство $LM \leqslant LR \leqslant W$. Тем самым тест отношения правдоподобия занимает некоторое среднее положение по частоте отвержения нулевой гипотезы по сравнению с тестами множителей Лагранжа и тестом Вальда. В случае нелинейных ограничений первая часть неравенства выполняется, а вторая - вообще говоря, нет.

Вместо LR-теста можно проводить асимптотический F-тест, статистика которого выражается через LR-статистику следующим образом $F=\frac {n-k}{q}(e^{LR/n}-1)$.

Литература

• Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. — М.: Дело, 2004. — 576 с.
• William H. Greene Econometric analysis. — New York: Pearson Education, Inc., 2003. — 1026 с.