Дельта-метод (в статистике) — метод выведения асимптотического распределения случайной величины. Применяется для нахождения асимптотического распределения дифференцируемой функции от асимптотически нормальной случайной величины. В более общем случае, дельта-метод применяется для функционалов, , стохастических процессов, которые сходятся к предельному процессу.
История
Дельта-метод был выведен из и идея, лежащая в основе, была известна ещё в начале XX века. В прикладной статистике одно из первых известных применений метода содержится в работе 1928 года. Формальное описание метода представил Дж.Л.Дуб в 1935. Роберт Дорфман также описал другую версию в 1938.
Одномерный дельта-метод Хотя дельта-метод легко обобщается до многомерного случая, аккуратное обоснование этой техники проще продемонстрировать в одномерной постановке задачи. Грубо говоря, если существует последовательность случайных величин , удовлетворяющая:
где и — конечные константы, а обозначает сходимость по распределению, то верно:
для любой функции такой, что существует и не равна нулю.
Идея дельта-метода заключается в том, что любая такая функция в достаточно малой области может быть приближена с помощью многочлена Тейлора первого порядка, т.е. линейной функцией. Если случайная величина грубо говоря нормальная, тогда линейное преобразование также является нормальным. Маленькая область может быть уточнена при аппроксимации функции возле точки концентрации последовательности случайных величин, до тех пор пока дисперсия "достаточно маленькая". Когда применяется к случайной величине такой, как среднее, дельта-метод склонен работать лучше по мере возрастания объёма выборки, поскольку это может уменьшить дисперсию, и поэтому аппроксимация Тейлора будет применена в меньшему интервалу функции в точке интереса.
Доказательство в одномерном случае Демонстрация этого результата довольно очевидна в предположении, что дифференцируема в окрестности точки и непрерывна в точке и .
По формуле Лагранжа:
где лежит между и .
Поскольку и , то , и поскольку в точке непрерывна, применение теоремы о непрерывном отображении даёт:
где обозначает сходимость по вероятности по мере того, как стремится к бесконечности.
Из равенства, полученного по формуле Лагранжа, после вычитания и умножения обеих частей на получаем:
Так как по предположению, то применение теоремы Слуцкого даёт
Это завершает доказательство.
Доказательство с явным порядком приближения Как вариант, можно добавить ещё один шаг в конце, чтобы явно указать порядок остаточного члена:
Это говорит о том, что ошибка аппроксимации сходится к по вероятности.
Многомерный дельта-метод По определению, состоятельная оценка сходится по вероятности к своему истинному значению , и зачастую можно применить центральную предельную теорему, чтобы получить асимптотически нормальную оценку:
где — число наблюдений и — (симметричная, неотрицательно определённая) ковариационная матрица. Предположим, мы хотим оценить дисперсию скалярной функции от оценки . Возьмём первых два члена ряда Тейлора и используя векторную нотацию градиента, мы можем оценить как
что означает, что дисперсия примерно
Тот же результат можно получить с помощью формулы конечных приращений (для действительнозначных функций нескольких переменных), не зависит от разложения Тейлора первого порядка.
Дельта-метод утверждает, что
или в одномерном случае:
Пример: биномиальная доля Предположим, распределено биномиально с параметрами и . Поскольку , мы можем применить дельта-метод с , чтобы получить: . Отсюда, для любого конечного дисперсия в действительности не существует (поскольку может быть нулём), асимптотическая дисперсия существует и равна . Заметим, что поскольку , то по мере , так что вероятность сходится к единице, конечно для большого .
Более того, если и оценивают доли в двух различных группах из независимых выборок объёмом и соответственно, тогда логарифм оценённого относительного риска имеет асимптотическую дисперсию, равную . Это позволяет строить для проверки статистических гипотез или для доверительного интервала относительного риска.
Альтернативная форма
Дельта-метод часто используется в форме, которая по сути идентична описанной выше, но без предположения, что или асимптотически нормальные. В этом случае обычно предполагается лишь, что дисперсия достаточно мала. Полученные формулы дают приближённые значения математических ожиданий и ковариаций преобразованных величин. Например, формулы, представленные в работе Клейна:
, где это -ый элемент и -ый элемент .
Дельта-метод второго порядка
Когда дельта-метод не применим. Тем не менее, если существует ненулевая , то можно применить дельта-метод второго порядка. Продолжая разложения Тейлора до второго порядка, получим , так что дисперсия зависит от четвёртого момента .
Обратим внимание, что при использовании метода второго порядка, математическое ожидание уже не равно просто , но получает корректирующий член, который зависит от кривизны: . Идея в том, что если у функции есть значительная кривизна, то даже если исходная случайная величина гауссова (и имеет симметричные хвосты), математическое ожидание функции больше не равно функции среднего .
Дельта-метод второго порядка также полезен для вывода более точного приближения распределения , при небольшом объёме выборки. . Например, когда распределение стандартное нормальное распределение, может быть приближённо представлена в виду взвешенной суммы распределений стандартного нормального и хи-квадрат со одной степенью свободы.
Непараметрический дельта-метод
В непараметрической статистике есть своя версия дельта-метода. Пусть есть выборка из независимых и одинаково распределённых случайных величин с эмпирической функцией распределения и пусть функционал. Если относительно метрики Чебышёва, то , где и , где обозначает функцию влияния для . Непараметрический поточечный асимптотический доверительный интервал для имеет вид , где обозначает -квантиль стандартного нормального распределения.
Примеры
В следующих примерах обозначает функцию влияния, вычисленную для распределения . Её эмпирический аналог получают, заменяя неизвестные характеристики распределения соответствующими выборочными оценками.
Математическое ожидание
Для функционала математического ожидания
при загрязнении распределения точечной массой в точке получаем
Следовательно, функция влияния имеет вид
Поскольку , её эмпирический аналог равен
Поэтому
а стандартная ошибка, получаемая из общей формулы выше, равна
Коэффициент корреляции
Пусть , а обозначает коэффициент корреляции Пирсона:
Введём обозначения
Функция влияния функционала коэффициента корреляции равна
Пусть
а — выборочный коэффициент корреляции. Тогда эмпирические значения функции влияния имеют вид
Следовательно, множитель дисперсии в общей формуле стандартной ошибки можно оценить как
Квантиль
Пусть
— квантиль уровня . Предположим, что распределение имеет плотность , непрерывную и положительную в точке . Тогда функция влияния квантильного функционала равна
Если — выборочная квантиль, а — оценка плотности в этой точке, то функцию влияния можно оценить как
Отсюда
Для исходного распределения
поэтому асимптотическая дисперсия выборочной квантили равна
См. также
Преобразование, стабилизирующее дисперсию
Примечания
Дальнейшее чтение
Внешние ссылки
Категория:Эконометрика Категория:Статистика Категория:Вероятность Категория:Статистические модели