Информа́ция Фи́шера — математическое ожидание квадрата относительной скорости изменения условной плотности вероятности . Эта функция названа в честь описавшего её Рональда Фишера.
Определение Пусть — плотность распределения для данной статистической модели. Тогда если определена функция
,
где — логарифмическая функция правдоподобия, а — математическое ожидание по при данном , то она называется информацией Фишера для данной статистической модели при независимых испытаниях.
Если дважды дифференцируем по , и при определенных условиях регулярности, информацию Фишера можно переписать как , eq. (2.5.16).
Для регулярных моделей: (В этом и состоит определение регулярности).
В этом случае, поскольку математическое ожидание функции вклада выборки равно нулю, выписанная величина равна её дисперсии.
Фишеровским количеством информации, содержащемся в одном наблюдении называют:
.
Для регулярных моделей все равны между собой.
Если выборка состоит из одного элемента, то информация Фишера записывается так:
.
Из условия регулярности, а также из того, что в случае независимости случайных величин дисперсия суммы равна сумме дисперсий, следует, что для независимых испытаний .
Матричная форма информации Фишера
Свойства Из указанного выше свойства дисперсий следует, что в случае независимости случайных величин (рассматриваемых в одной статистической модели) информация Фишера их суммы равна сумме информации Фишера каждой из них.
Сохранение информации достаточной статистикой В общем случае, если — статистика выборки X, то
Причем равенство достигается тогда и только тогда, когда T является достаточной статистикой.
Достаточная статистика содержит столько же информации Фишера, сколько и вся выборка X. Это может быть показано с помощью факторизационного критерия Неймана для достаточной статистики. Если статистика достаточна для параметра , то существуют функции g и h такие, что:
Равенство информации следует из:
что следует из определения информации Фишера и независимости от .
См. также Неравенство Крамера — Рао Информационное неравенство (математическая статистика)
Другие меры, используемые в теории информации: Информационная энтропия Расстояние Кульбака — Лейблера Собственная информация
Примечания
Литература
Категория:Выборочный метод Категория:Теория информации Категория:Математическая статистика Категория:Теория оценивания