Информация Фишера
» » Информация Фишера

16.12.2020

Информация Фишера - математическое ожидание квадрата относительной скорости изменения условной плотности вероятности p ( x | θ ) {displaystyle p(x| heta )} . Эта функция названа в честь описавшего её Рональда Фишера.

Определение

Пусть f ( θ , x 1 , … , x n ) {displaystyle f( heta ,;x_{1},dots ,,x_{n})} — плотность распределения для данной статистической модели. Тогда если определена функция

I n ( θ ) = E θ ( ∂ L ( θ , x 1 , … , x n ) ∂ θ ) 2 , L = ∑ i = 1 n ln ⁡ f ( θ , x i ) {displaystyle I_{n}( heta )=mathbb {E} _{ heta }left({frac {partial L( heta ,;x_{1},dots ,,x_{n})}{partial heta }} ight)^{2},;L=sum _{i=1}^{n}ln f( heta ,x_{i})} ,

где L ( θ , x 1 , … , x n ) {displaystyle L( heta ,;x_{1},dots ,,x_{n})} — логарифмическая функция правдоподобия, а E θ {displaystyle mathbb {E} _{ heta }} — математическое ожидание по x {displaystyle x} при данном θ {displaystyle heta } , то она называется информацией Фишера для данной статистической модели при n {displaystyle n} независимых испытаниях.

Если ln ⁡ f ( x ; θ ) {displaystyle ln f(x; heta )} дважды дифференцируем по θ {displaystyle heta } , и при определенных условиях регулярности, информацию Фишера можно переписать как

I n ( θ ) = E θ ( ∂ L ( θ , X ) ∂ θ ) 2 = − E θ ( ∂ 2 L ( θ , X ) ∂ θ 2 ) {displaystyle I_{n}( heta )=mathbb {E} _{ heta }left({frac {partial L( heta ,;X)}{partial heta }} ight)^{2}=-mathbb {E} _{ heta }left({frac {partial ^{2}L( heta ,;X)}{partial heta ^{2}}} ight)}

Для регулярных моделей: E θ ( ∂ L ( θ , x 1 , … , x n ) ∂ θ ) = 0 {displaystyle mathbb {E} _{ heta }left({frac {partial L( heta ,;x_{1},dots ,,x_{n})}{partial heta }} ight)=0} (В этом и состоит определение регулярности).

В этом случае, поскольку математическое ожидание функции вклада выборки равно нулю, выписанная величина равна её дисперсии.

Фишеровским количеством информации, содержащемся в одном наблюдении называют:

I i ( θ ) = E θ ( ∂ ln ⁡ f ( θ , x i ) ∂ θ ) 2 {displaystyle I_{i}( heta )=mathbb {E} _{ heta }left({frac {partial ln f( heta ,,x_{i})}{partial heta }} ight)^{2}} .

Для регулярных моделей все I i ( θ ) {displaystyle I_{i}( heta )} равны между собой.

Если выборка состоит из одного элемента, то информация Фишера записывается так:

I ( θ ) = E θ ( ∂ ln ⁡ f ( θ , x ) ∂ θ ) 2 {displaystyle I( heta )=mathbb {E} _{ heta }left({frac {partial ln f( heta ,,x)}{partial heta }} ight)^{2}} .

Из условия регулярности, а также из того, что в случае независимости случайных величин дисперсия суммы равна сумме дисперсий, следует, что для n {displaystyle n} независимых испытаний I n ( θ ) = n I ( θ ) {displaystyle I_{n}( heta )=nI( heta )} .

Свойства

  • Из указанного выше свойства дисперсий следует, что в случае независимости случайных величин ξ 1 ( θ , x ) , … , ξ n ( θ , x ) {displaystyle xi _{1}( heta ,,x),dots ,,xi _{n}( heta ,,x)} (рассматриваемых в одной статистической модели) информация Фишера их суммы равна сумме информации Фишера каждой из них.

Сохранение информации достаточной статистикой

В общем случае, если T = t ( X ) {displaystyle T=t(X)} — статистика выборки X, то

I T ( θ ) ≤ I X ( θ ) {displaystyle I_{T}( heta )leq I_{X}( heta )}

Причем равенство достигается тогда и только тогда, когда T является достаточной статистикой.

Достаточная статистика содержит столько же информации Фишера, сколько и вся выборка X. Это может быть показано с помощью факторизационного критерия Неймана для достаточной статистики. Если статистика T ( X ) {displaystyle T(X)} достаточна для параметра θ, то существуют функции g и h такие, что:

f ( X ; θ ) = g ( T ( X ) , θ ) h ( X ) {displaystyle f(X; heta )=g(T(X), heta )h(X)}

Равенство информации следует из:

∂ ∂ θ ln ⁡ [ f ( X ; θ ) ] = ∂ ∂ θ ln ⁡ [ g ( T ( X ) ; θ ) ] {displaystyle {frac {partial }{partial heta }}ln left[f(X; heta ) ight]={frac {partial }{partial heta }}ln left[g(T(X); heta ) ight]}

что следует из определения информации Фишера и независимости h ( X ) {displaystyle h(X)} от θ.


Имя:*
E-Mail:
Комментарий: