С какой оценки начинать? Одним из наиболее известных и простых в употреблении методов является метод моментов. Название связано с тем, что этот метод опирается на использование выборочных моментов

где x1, x2,…, xn - выборка, т.е. набор независимых одинаково распределенных случайных величин с числовыми значениями.

В прикладной статистике метод анализа данных называется методом моментов , если он использует статистику

где g : R q > R k - некоторая функция (здесь k - число неизвестных числовых параметров). Чаще всего термин «метод моментов» используют, когда речь идет об оценивании параметров. В этом случае обычно предполагают, что плотность вероятности распределения элементов выборки f (x ) входит в заранее известное статистику параметрическое семейство {f (x ;и), иєИ}, т.е. f (x ) = f (x ;и 0) при некотором и 0 . Здесь И - заранее заданное k -мерное пространство параметров, являющееся подмножеством евклидова пространства R k , а конкретное значение параметра и 0 статистику неизвестно, его и следует оценить. Известно также, что неизвестный параметр определяется с помощью известной статистику функции через начальные моменты элементов выборки:

В методе моментов в качестве оценки и 0 используют статистику Y n вида (1), которая отличается от формулы (1) тем, что теоретические моменты заменены выборочными.

Статистики Y n вида (1) применяются не только для оценивания параметров, но и для непараметрического оценивания характеристик случайной величины, таких, как коэффициент вариации, и для проверки гипотез. Во всех случаях применения статистики Y n вида (1) говорят о методе моментов.

Распределение вектора Y n во всех практически важных случаях является асимптотически нормальным. Это утверждение опирается на следующий общий факт.

Пусть случайный вектор Z n є R q асимптотически нормален с математическим ожиданием z ? и ковариационной матрицей ||c ij ||/n , а функция h : R q > R 1 достаточно гладкая. Тогда случайная величина h (Z n ) асимптотически нормальна с математическим ожиданием h (z ?) и дисперсией

Для получения асимптотического распределения статистики Y n вида (1) можно применить метод линеаризации к асимптотически нормальному вектору выборочных моментов (M n 1 , M n 2 , …, M n q) и функции g из формулы (1).

Для применения формулы (3) необходимо использовать асимптотические дисперсии и ковариации выборочных моментов, т.е. величины, обозначенные в формуле (3) как c rs . Эти величины имеют вид:

Здесь м r - теоретический центральный момент порядка r , т.е.

Таким образом, для получения асимптотического распределения случайной величины Y n вида (1) достаточно знать теоретические центральные моменты результатов наблюдений и вид функции g .

Однако моменты неизвестны. Их приходится оценивать. В соответствии с теоремами о наследовании сходимости для нахождения асимптотического распределения функции от выборочных моментов можно воспользоваться не теоретическими моментами, а их состоятельными оценками. Эти оценки можно получить разными способами. Можно непосредственно применить формулы (4), заменив теоретические моменты выборочными. Можно выразить моменты через параметры рассматриваемого распределения.

Для оценивания параметров гамма-распределения воспользуемся известной формулой, согласно которой для случайной величины Х , имеющей гамма-распределение с параметрами формы а , масштаба b =1 и сдвига c=0,

Следовательно, M (X ) = a , M (X 2) = a (a +1), D (X ) = M (X 2) - (M (X )) 2 = a (a +1) - a 2 = a . Найдем третий центральный момент M (X - M (X )) 3 . Справедливо равенство

M (X - M (X )) 3 = M (X 3) - 3 M (X 2) M (X ) + 3 M (X) (M (X )) 2 - (M (X )) 3

Из равенства (6) вытекает, что

M (X - M (X )) 3 = a (a +1)(a +2) - 3 a (a +1) a + 3 a a 2 - a 3 = 2a .

Если Y - случайная величина, имеющая гамма-распределение с произвольными параметрами формы a , масштаба b и сдвига c , то Y = bX + c . Следовательно, M (Y ) = ab +c , D (Y ) = ab 2 , M (Y - M (Y )) 3 = 2 a b 3 .

Метод моментов является универсальным. Однако получаемые с его помощью оценки лишь в редких случаях обладают оптимальными свойствами. Поэтому в прикладной статистике применяют и другие виды оценок.

Ключевые вопросы: определение, предпосылки модели, понятие и формулы моментов, алгоритм расчёта оценок, применение в нормальном распределении, дискуссия о типе и количестве моментов, достоинства и недостатки подхода .

Метод моментов – один из наиболее известных и популярных методов статистического оценивания параметров вероятностных распределений.

Основные предпосылки модели метода моментов следующие:

Суть метода моментов заключается в вычислении того количества теоретических и выборочных моментов случайной величины, которое равно числу исследуемых нами параметров. После вычисления соответствующие друг другу теоретические и выборочные моменты приравниваются, и исходя из получившегося уравнения осуществляется вычисление оценки параметра.

Формула теоретических моментов выглядит так: где μ’ k – есть k-й теоретический момент величины Y.

Формула выборочных моментов выглядит так: где m’ k – есть k-й выборочный момент величины Y.

После этого приравниванием μ’ k = m’ k добиваемся вычисления значений параметров.

Рассмотрим в качестве примера нормальное распределение. Нахождение оценок параметров по методу моментов выглядит следующим образом.

Следует заметить, что в уравнения также допустимо включать и такие экзотические виды моментов, как асимметрию и эксцесс, но это необходимо только в специализированных исследованиях. Статистическая практика чаще всего не выходит за рамки обозначенного выше алгоритма, поскольку число подлежащих исследованию параметров обыкновенно не превышает 4.

В качестве достоинств метода моментов следует обозначить, во-первых, то, что его вычислительная реализация сравнительно проста, а, во-вторых, то, что оценки, полученные в качестве решений системы, являются функциями от выборочных моментов, что упрощает исследование статистических свойств оценок данного метода. При больших n распределение оценки такого рода асимптотически нормально, среднее значение отличается от истинного на величину, приблизительно равную n -1 , а стандартное отклонение асимптотически равно cn (-1/2) , где c – определённая числовая константа. Фишер в своё время доказал, однако, что асимптотическая эффективность оценок по методу моментов всегда оказывается меньше 1, и поэтому данный метод уступает, например, методу максимального правдоподобия. Впрочем, иногда в статистических исследованиях оценки, полученные по методу моментов, принимаются в качестве первого приближения, по которым можно определять другими методами оценки более высокой эффективности.

В другом изложении:

Введём сначала следующие определения:

Определение 9 . Начальный момент порядка k случайной величины x определяется равенством: m k = M(x k).

В частности, m 1 = M(x) – обычное мат. ожидание, m 2 = M(x 2).

Определение 10 . Центральный момент порядка k случайной величины x определяется равенством: a k = M((x–Mx) k).

В частности, a 2 = D(x) – дисперсия случайной величины.

Эти моменты называют теоретическими . По данным наблюдений можно вычислить соответствующие эмпирические моменты:

Определение 11 . Начальный эмпирический момент порядка k случайной величины x определяется равенством

В частности, – выборочное среднее.

Определение 12 . Центральный эмпирический момент порядка k случайной величины x определяется равенством:

В частности, – выборочная дисперсия.

Метод моментов построения точечных оценок неизвестных параметров состоит в приравнивании теоретических моментов рассматриваемого распределения соответствующим эмпирическим моментам того же распределения.

Пусть даны: случайная величина ξ, выборка объема n x 1 , x 2 ,…, x n . Необходимо построить оценки неизвестных параметров q * 1, q * 2 ,…,q * k . Описание метода моментов (ММ) разобьём на этапы:

1. Выписываем первые к моментов μ 1, μ 2, … μ n

2. Вычисляем по выборке соответствующие им эмпирические (выборочные) моменты.

3. С оставляем систему уравнений μ i = m i и решаем ее относительно неизвестных параметров.

Замечание 1. Иногда вместо начальных моментов μ i , m i удобно использовать центральные моменты α i , a i .

Замечание 2 . Если на третьем этапе получилась неразрешимая система, то на первом шаге надо добавить новые моменты.

Найдем методом моментов оценки параметров нескольких важнейших распределений.

(называемых моментами или моментными функциями ) , интегрируемых по мере , выполнены условия на моменты

Пусть - выборка случайной величины X. Предполагается, что соотношения аналогичные условиям на моменты выполнены и для выборки, а именно вместо математического ожидания в условиях на моменты необходимо использовать выборочные средние:

причем в данном представлении (когда справа от равенства - ноль) достаточно использовать просто суммы вместо средних.

Оценки, получаемые из решения этой системы уравнений (выборочных условий на моменты), называются оценками метода моментов . Название метода связано с тем, что чаще всего в качестве функций выступают функции степенного вида, математические ожидания от которых в теории вероятностей и математической статистике принято называть моментами.

Если моментные функции непрерывны, то оценки метода моментов состоятельны .

Частные случаи

Некоторые классические методы оценки регрессионных моделей можно представить как частные случаи метода моментов. Например, если линейная регрессионная модель удовлетворяет условию , то условия на моменты выглядят следующим образом:

Следовательно, в этом случае оценка метода моментов будет совпадать с оценкой метода наименьших квадратов

Таким образом, МНК является частным случаем метода моментов, когда выполняется условие ортогональности регрессоров и случайных ошибок

Рассмотрим другой случай, когда имеются некоторые переменные z, ортогональные случайным ошибкам линейной регрессионной модели, то есть . Тогда имеем выборочный аналог этого условия:

Следовательно оценка метода моментов будет совпадать с оценкой метода инструментальных переменных : .

В некоторых случаях, редких при больших объемах данных и более частых при малом их количестве, оценки, даваемые методом моментов могут оказаться вне допустимой области. Такая проблема никогда не возникает в методе максимального правдоподобия. Также, оценки по методу моментов не обязательно оказываются достаточной статистикой , то есть, они иногда извлекают из данных не всю имеющуюся в них информацию.

См. также


Wikimedia Foundation . 2010 .

Смотреть что такое "Метод моментов" в других словарях:

    метод моментов - momentų metodas statusas T sritis fizika atitikmenys: angl. method of moments; moments method vok. Momentenmethode, f rus. метод моментов, m pranc. méthode de moments, f … Fizikos terminų žodynas

    В математической статистике это способ построения оценок, основанный на уравнивании теоретических и выборочных моментов. (Пирсон 1894г.) Содержание 1 Определение 2 Замечания … Википедия

    - (ОММ, GMM Generalized Method of Moments) метод, применяемый в математической статистике и эконометрике для оценки неизвестных параметров распределений и эконометрических моделей, являющийся обобщением классического метода моментов. Метод был… … Википедия

    - (ИП, IV Instrumental Variables) метод оценки параметров регрессионных моделей, основанный на использовании дополнительных, не участвующих в модели, так называемых инструментальных переменных. Метод применяется в случае, когда факторы… … Википедия

    Или метод наибольшего правдоподобия (ММП, ML, MLE Maximum Likelihood Estimation) в математической статистике это метод оценивания неизвестного параметра путём максимизации функции правдоподобия. Основан на предположении о том, что… … Википедия

    метод распределения моментов - Метод расчёта сложных статически неопределимых рам, при котором первоначально неуравновешенные моменты в узлах уравновешиваются по методу последовательных приближений с помощью коэффициентов распределения моментов [Терминологический словарь по… … Справочник технического переводчика

    Метод определения распределения вероятностей по его моментам. В теоретич. отношении М. м. основан на единственности решения моментов проблемы:если нек рые постоянные, то при каких условиях существует единственное распределение такое, что суть… … Математическая энциклопедия

    Метод расчёта сложных статически неопределимых рам, при котором первоначально неуравновешенные моменты в узлах уравновешиваются по методу последовательных приближений с помощью коэффициентов распределения моментов (Болгарский язык; Български)… … Строительный словарь

    - (от греч. methodos путь, способ исследования, обучения, изложения) совокупность приемов и операций познания и практической деятельности; способ достижения определенных результатов в познании и практике. Применение того или иного М. определяется… … Философская энциклопедия

    - (лат. associatio соединение, присоединение) исследовательский, диагностический и терапевтический прием психоанализа. Основан на использовании феномена ассоциативности мышления для познания глубинных (преимущественно бессознательных) психических… … Новейший философский словарь

Книги

  • Электродинамическое моделирование антенных и СВЧ структур с использованием FEKO , Курушин Александр Александрович, Банков Сергей Евгеньевич, Грибанов Александр Николаевич. Данная книга представляет собой систематическое описание одной из самых мощных современных программ электродинамического моделирования - FEKO. Программа FEKO имеет мощную систему черчения…

Точечная оценка в математической статистике - это число, вычисляемое на основе наблюдений, предположительно близкое оцениваемому параметру. Пусть - выборка из распределения, зависящего от параметра. Тогда статистику называют точечной оценкой параметра.

Свойства точечных оценок:

1. Оценка называется несмещённой, если ее математическое ожидание равно оцениваемому параметру генеральной совокупности:

2. Оценка называется эффективной, если она обладает минимальной дисперсией среди всех возможных точечных оценок.

3. Оценка называется состоятельной, если она по вероятности с увеличением объема выборки n стремится к параметру генеральной совокупности.

Существует несколько методов определения оценок.

Наиболее распространен метод максимального правдоподобия, теоретически обоснованный математиком Р. Фишером. Идея метода заключается в следующем. Вся получаемая в результате многократных наблюдений информация об истинном значении измеряемой величины и рассеивании результатов сосредоточена в ряде наблюдений, где n - число наблюдений. Их можно рассматривать как n независимых случайных величин с одной и той же дифференциальной функцией распределения. Вероятность получения в эксперименте некоторого результата, лежащего в интервале, где - некоторая малая величина, равна соответствующему элементу вероятности.

Независимость результатов наблюдений позволяет найти априорную вероятность появления одновременно всех экспериментальных данных, т.е. всего ряда наблюдений как произведение этих вероятностей:

Если рассматривать Q и как неизвестные параметры распределения, то, подставляя различные значения Q и в эту формулу, мы будем получать различные значения вероятности при каждом фиксированном ряде наблюдений. При некоторых значениях и вероятность получения экспериментальных данных достигает наибольшего значения. В соответствии с методом максимального правдоподобия именно эти значения и принимаются в качестве точечных оценок истинного значения и среднеквадратического отклонения результатов наблюдений. Таким образом, метод максимального правдоподобия сводится к отысканию таких оценок и, при которых функция правдоподобия достигает наибольшего значения. Постоянный сомножитель не оказывает влияния на решение и поэтому может быть отброшен. Полученные оценки и истинного значения и среднеквадратического отклонения называются оценками максимального правдоподобия.

Метод моментов К.Пирсона. Любой теоретический начальный или центральный момент случайной величины, распределение которой зависит от параметра, также зависит от этого параметра.Оценка компонент векторного параметра по методу К.Пирсона осуществляется по определенному количеству моментов различных порядков (начальных, центральных или тех и других). В качестве оценки (приближения) параметра принимается такой вектор, при котором каждый из выбранных теоретических моментов совпадает с соответствующим эмпирическим моментом, вычисленным по выборке. Приравниваем выборочные и теоретические моменты:

41-44. Интервальные оценки параметров генеральной совокупности


Дана выборка (x 1 , x 2 , …, x n) объема n из генеральной совокупности с генеральным средним a и генеральной дисперсией? 2 . Ищется интервал [И 1 , И 2 ], в котором a может находиться с доверительной вероятностью г.

Доверительный интервал для неизвестного математического ожидания a при известной дисперсии

Предполагая, что предварительно определена точечная оценка a - выборочное среднее, в качестве статистики для получения И 1 = И 1 (x 1 , x 2 , …, x n) и И 2 =И 2 (x 1 , x 2 , …, x n) рассмотрим нормированное выборочное среднее, имеющее нормальное распределение ().

Где - функция Лапласа.

Полагаем.

доверительный интервал:

Точность оценки: .