s x = (1.11)

Мы будем в дальнейшем рассмотривать важную задачу для исследования наблюдаемой случайной величины. Пусть имеется некоторая выборка (будем обозначать её S ) случайной величины Х . Требуется по имеющейся выборке оценить неизвестные значения m x и .

Теория оценок различных параметров занимает в математической статистике значительное место. Поэтому рассмотрим сначала общую задачу. Пусть требуется оценить некоторый параметр a по выборке S . Каждая такая оценка a* является некоторой функцией a*=a*(S) от значений выборки. Значения выборки случайны, поэтому и сама оценка a* является случайной величиной. Можно построить множество различных оценок (то есть функций) a* , но при этом желательно иметь «хорошую» или даже «наилучшую», в некотором смысле, оценку. К оценкам обычно предъявляются следующие три естественных требования.

1. Несмещённость. Математическое ожидание оценки a* должно равняться точному значению параметра: M = a . Другими словами, оценка a* не должна иметь систематической ошибки.

2. Состоятельность. При бесконечном увеличении объёма выборки, оценка a* должна сходиться к точному значению, то есть при увеличении числа наблюдений ошибка оценки стремится к нулю.

3. Эффективность. Оценка a* называется эффективной, если она не смещена и имеет минимально возможную дисперсию ошибки. В этом случае минимален разброс оценки a* относительно точного значения и оценка в определённом смысле является «самой точной».

К сожалению, не всегда удаётся построить оценку, удовлетворяющую всем трём требованиям одновременно.

Для оценки математического ожидания чаще всего применяется оценка.

= , (1.12)

то есть среднее арифметическое по выборке. Если случайная величина X имеет конечные m x и s x , то оценка (1.12) не смещена и состоятельна. Эта оценка эффективна, например, если X имеет нормальное распределение (рис.п.1.4, приложение 1). Для других распределений она может оказаться неэффективной. Например, в случае равномерного распределения (рис.п.1.1, приложение 1) несмещённой, состоятельной оценкой будет

(1.13)

В то же время оценка (1.13) для нормального распределения не будет ни состоятельной, ни эффективной, и будет даже ухудшаться с ростом объёма выборки.

Таким образом, для каждого типа распределения случайной величины Х следовало бы использовать свою оценку математического ожидания. Однако в нашей ситуации тип распределения может быть известен лишь предположительно. Поэтому будем использовать оценку (1.12), которая достаточно проста и имеет наиболее важные свойства несмещённости и состоятельности.

Для оценки математического ожидания по группированной выборке используется следующая формула:

= , (1.14)

которую можно получить из предыдущей, если считать все m i значений выборки, попавших в i –й интервал, равными представителю z i этого интервала. Эта оценка, естественно, грубее, но требует значительно меньшего объёма вычислений, особенно при большом объёме выборки.

Для оценки дисперсии чаще всего используется оценка:

= , (1.15)

Эта оценка не смещена и состоятельна для любой случайной величины Х , имеющей конечные моменты до четвёртого порядка включительно.

В случае группированной выборки используется оценка:

= (1.16)

Оценки (1.14) и (1.16), как правило, смещены и несостоятельны, так как их математические ожидания и пределы, к которым они сходятся, отличны от m x и в силу замены всех значений выборки, попавших в i –й интервал, на представителя интервала z i .

Отметим, что при больших n, коэффициент n /(n – 1) в выражениях (1.15) и (1.16) близок к единице, поэтому его можно опустить.

Интервальные оценки.

Пусть точное значение некоторого параметра равно a и найдена его оценка a*(S) по выборке S . Оценке a* соответствует точка на числовой оси (рис.1.5), поэтому такая оценка называется точечной . Все оценки, рассмотренные в предыдущем параграфе, точечные. Практически всегда, в силу случайности

a* ¹ a , и мы можем надеяться только на то, что точка a* находится где–то вблизи a . Но насколько близко? Любая другая точечная оценка будет иметь тот же недостаток – отсутствие меры надёжности результата.

Рис.1.5. Точечная оценка параметра.

Более определённым в этом отношении являются интервальные оценки . Интервальные оценка представляет собой интервал I b = (a , b) , в котором точное значение оцениваемого параметра находится с заданной вероятностью b . Интервал I b называется доверительным интервалом , а вероятность b называется доверительной вероятностью и может рассматриваться как надёжность оценки .

Доверительный интервал состоится по имеющейся выборке S , он случаен в том смысле, что случайны его границы a(S) и b(S) , которые мы будем вычислять по (случайной) выборке. Поэтому b есть вероятность того, что случайный интервал I b накроет неслучайную точку a . На рис. 1.6. интервал I b накрыл точку a , а I b * - нет. Поэтому не совсем правильно говорить, что a « попадает» в интервал.

Если доверительная вероятность b велика (например, b = 0,999 ), то практически всегда точное значение a находится в построенном интервале.

Рис.1.6. Доверительные интервалы параметра a для различных выборок.

Рассмотрим метод построения доверительного интервала для математического ожидания случайной величины Х, основанный на центральной предельной теореме .

Пусть случайная величина Х имеет неизвестное математическое ожидание m x и известную дисперсию . Тогда, в силу центральной предельной теоремы, среднее арифметическое:

= , (1.17)

результатов n независимых испытаний величины Х является случайной величиной, распределение которой при больших n , близко к нормальному распределению со средним m x и среднеквадратическим отклонением . Поэтому случайная величина

(1.18)

имеет распределение вероятностей, которое можно считать стандартным нормальным с плотностью распределения j(t) , график которой изображён на рис.1.7 (а также на рис.п.1.4, приложение 1).

Рис.1.7. Плотность распределения вероятностей случайной величины t .

Пусть задана доверительная вероятность b и t b - число, удовлетворяющее уравнению

b = Ф 0 (t b) – Ф 0 (-t b) = 2 Ф 0 (t b), (1.19)

где - функция Лапласа . Тогда вероятность попадания в интервал (-t b , t b) будет равна заштрихованной на рис.1.7. площади, и, в силу выражения (1.19), равна b . Следовательно

b = P(-t b < < t b) = P( – t b < m x < + t b ) =

= P( – t b < m x < + t b ) . (1.20)

Таким образом, в качестве доверительного интервала можно взять интервал

I b = ( – t b ; + t b ) , (1.21)

так как выражение (1.20) означает, что неизвестное точное значение m x находится в I b с заданной доверительной вероятностью b . Для построения I b нужно по заданному b найтиt b из уравнения (1.19). Приведём несколько значений t b , необходимых в дальнейшем :

t 0,9 = 1,645; t 0,95 = 1,96; t 0,99 = 2,58; t 0,999 = 3,3.

При выводе выражения (1.21) предполагалось, что известно точное значение среднеквадратического отклонения s х . Однако оно известно далеко не всегда. Воспользуемся поэтому его оценкой (1.15) и получим:

I b = ( – t b ; + t b ) . (1.22)

Соответственно, оценки и , полученные по группированной выборке, дают следующую формулу для доверительного интервала:

I b = ( – t b ; + t b ) . (1.23)

Распределение случайной величины (распределение генеральной совокупности) характеризуется обычно рядом числовых характеристик:

• для нормального распределения N(a, σ) - это математическое ожидание a и среднее квадратическое отклонение σ ;
• для равномерного распределения R(a,b) - это границы интервала , в котором наблюдаются значения этой случайной величины.

Когда оценка определяется одним числом, она называется точечной оценкой . Точечная оценка, как функция от выборки, является случайной величиной и меняется от выборки к выборке при повторном эксперименте.
К точечным оценкам предъявляют требования, которым они должны удовлетворять, чтобы хоть в каком-то смысле быть «доброкачественными». Это несмещённость , эффективность и состоятельность .

Интервальные оценки определяются двумя числами – концами интервала, который накрывает оцениваемый параметр. В отличие от точечных оценок, которые не дают представления о том, как далеко от них может находиться оцениваемый параметр, интервальные оценки позволяют установить точность и надёжность оценок.

В качестве точечных оценок математического ожидания, дисперсии и среднего квадратического отклонения используют выборочные характеристики соответственно выборочное среднее, выборочная дисперсия и выборочное среднее квадратическое отклонение.

Свойство несмещенности оценки .
Желательным требованием к оценке является отсутствие систематической ошибки, т.е. при многократном использовании вместо параметра θ его оценки среднее значение ошибки приближения равно нулю - это свойство несмещенности оценки .

Определение . Оценка называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:

Выборочное среднее арифметическое является несмещенной оценкой математического ожидания, а выборочная дисперсия - смещенная оценка генеральной дисперсии D . Несмещенной оценкой генеральной дисперсии является оценка

Свойство состоятельности оценки .
Второе требование к оценке - ее состоятельность - означает улучшение оценки с увеличением объема выборки.

Определение . Оценка называется состоятельной , если она сходится по вероятности к оцениваемому параметру θ при n→∞.

Свойство эффективной оценки .
Третье требование позволяет выбрать лучшую оценку из нескольких оценок одного и того же параметра.

Определение . Несмещенная оценка является эффективной , если она имеет наименьшую среди всех несмещенных оценок дисперсию.

Это означает, что эффективная оценка обладает минимальным рассеиванием относительно истинного значения параметра. Заметим, что эффективная оценка существует не всегда, но из двух оценок обычно можно выбрать более эффективную, т.е. с меньшей дисперсией. Например, для неизвестного параметра a нормальной генеральной совокупности N(a,σ) в качестве несмещенной оценки можно взять и выборочное среднее арифметическое, и выборочную медиану. Но дисперсия выборочной медианы примерно в 1.6 раза больше, чем дисперсия среднего арифметического. Поэтому более эффективной оценкой является выборочное среднее арифметическое.

Пример №1 . Найдите несмещенную оценку дисперсии измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 13,15,17.
Решение. Таблица для расчета показателей.

Пример №2 . Найдите несмещенную оценку математического ожидания измерений некоторой случайной величины одним прибором (без систематических ошибок), результаты измерения которой (в мм): 4,5,8,9,11.
Решение. m = (4+5+8+9+11)/5 = 7.4

Пример №3 . Найдите исправленную дисперсию S 2 для выборки объема n=10, если выборочная диспресия равна D = 180.
Решение. S 2 = n*D/(n-1) = 10*180/(10-1) = 200

ТЕМА: Точечные оценки математического ожидания. Точечные оценки дисперсии. Точечная оценка вероятности события. Точечная оценка параметров равномерного распределения.

п.1. Точечные оценки математического ожидания.

Предположим, что функция распределения случайной величины ξ зависит от неизвестного параметра θ : P (ξ θ;).

Если x 1 , x 2 …., x n - выборка из генеральной совокупности случайной величиныξ, то оценкой параметра θ называется произвольная функция от выборочных значений

Значение оценки меняется от выборки к выборке и, значит, есть случайная величина. В большинстве экспериментов значение этой случайной величины близки к значению оцениваемого параметра, если для любого значения n математическое ожидание величины равно истинному значению параметра, то оценки , удовлетворяющие условию называются несмещенными . Несмещенность оценки означает, что эта оценка не несет в себе систематической ошибки.

Оценка называется состоятельной оценкой параметра θ , если для любого ξ>0 справедливо

Таким образом, с ростом объема выборки увеличивается точность результата.

Пусть x 1 , x 2 … x n – выборка из генеральной совокупности, соответствующей случайной величине ξ с неизвестным математическим ожиданием и известной дисперсией Dξ=σ 2 . Построим несколько оценок неизвестного параметра. Если, то , т.е. рассматриваемая оценка является несмещенной оценкой. Но, поскольку значение вообще не зависит от объема выборки n, то оценка не является состоятельной.

Эффективной оценкой математического ожидания нормально распределенной случайной величины является оценка

Впредь для оценки неивестного математического ожидания случайной величины будем использовать выборочное среднее, т. е.

Существуют стандартные (регулярные) методы получения оценок неизвестных параметров распределения. Наиболее известные из них: метод моментов , метод максимального правдоподобия и метод наименьших квадратов.

п.2 Точечные оценки дисперсии.

Для дисперсии σ 2 случайной величины ξ можно предложить следующую оценку:

где - выборочное среднее.

Доказано, что эта оценка состоятельная, но смещенная.

В качестве состоятельной несмещенной оценки дисперсии исполь­зуют величину

Именно несмещенностью оценки s 2 объясняется ее более частое использование в качестве оценки величины D ξ.

Заметим, что Mathcad предлагает в качестве оценки дисперсии величину , а не s 2: функция var (x ) вычисляет величину

где mean (x ) -выборочное среднее .

ЗАДАНИЕ 6.5

Μξ и дисперсии D ξ случайной величины ξ по приведенным в задании выборочным значениям .

Порядок выполнения задания

Прочитайте с диска файл, содержащий выборочные значения, или введите заданную выборку с клавиатуры.

Вычислите точечные оценки Μξ и D ξ.

Пример выполнения задания

Найдите состоятельные несмещенные оценки математического ожи­дания Μξ и дисперсии D ξ случайной величины ξ по выборочным значениям, заданным следующей таблицей.

Для выборки, заданной таблицей такого типа (приведено выборочное значение и число, указывающее, сколько раз это значение встречается в выборке), формулы для состоятельных несмещенных оценок математического ожидания и дисперсии имеют вид:

, ,

где k - количество значений в таблице; n i - количество значений x i в выборке; n - объем выборки.

Фрагмент рабочего документа Mathcad с вычислениями точечных оценок приведен ниже.

Из приведенных вычислений видно, что смещенная оценка дает заниженное значение оценки дисперсии.

п.3. Точечная оценка вероятности события

Предположим, что в некотором эксперименте событие А (благоприят­ный исход испытания) происходит с вероятностью p и не происходит с вероятностью q = 1 - р. Задача состоит в получении оценки неизвест­ного параметра распределения p по результатам серии n случайных экспериментов. При заданном числе испытаний n количество бла­гоприятных исходов m в серии испытаний - случайная величина, имеющая распределение Бернулли. Обозначим ее буквой μ.

Если событие А в серии из n независимых испытаний произошло

m раз, то оценку величины p предлагается вычислять по формуле

Выясним свойства предлагаемой оценки. Поскольку случайная ве­личина μ имеет распределение Бернулли, то Μμ= np и M = M = р , т.е. налицо несмещенная оценка.

Для испытаний Бернулли справедлива теорема Бернулли, согласно которой, т.е. оценка p состоятельная.

Доказано, что эта оценка эффективна, так как обладает при прочих равных условиях минимальной дисперсией.

В Mathcad для моделирования выборки значений случайной ве­личины, имеющей распределение Бернулли, предназначена функция rbinom(fc,η,ρ), которая формирует вектор из к случайных чисел, κα­ ι ждое из которых равно числу успехов в серии из η независимых испы­таний с вероятностью успеха ρ в каждом.

ЗАДАНИЕ 6.6

Смоделируйте несколько выборок значений случайной величины, име­ющей распределение Бернулли с заданным значением параметра р . Вычислите для каждой выборки оценку параметра p и сравните с за­данным значением. Представьте результаты вычислений графически.

Порядок выполнения задания

1. Используя функцию rbinom(1, n , p ), опишите и сформируй­те последовательность значений случайной величины, име­ющей распределение Бернулли с заданными p и n для n = 10, 20, ..., Ν, как функцию объема выборки п.

2. Вычислите для каждого значения n точечные оценки веро­ятности р.

Пример выполнения задания

Пример получения точечных оценок выборок объема n = 10, 20,..., 200 значений случайной величины μ, имеющей распределение Бернулли с параметром p = 0.3, приведен ниже.

Указание. Поскольку значением функции является вектор , число успехов в серии n независимых испытаний с вероятностью успеха p в каждом испытании содержится в первой компоненте вектора rbinom(1,n , p ) , т.е. число успехов равно rbinom(1, n , p ). В приведенном выше фрагменте k - я компонента вектора Ρ содержит число успехов в серии 10k независимых испытаний для k = 1,2,..., 200.

п. 4. Точечная оценка параметров равномерного распределения

Обратимся еще к одному поучительному примеру. Пусть - выборка из генеральной совокупности, соответствующей случай­ной величине ξ, имеющей равномерное распределение на отрезке с неизвестным параметром θ . Наша задача - оценить этот неизвестный параметр.

Рассмотрим один из возможных способов построения требуемой оценки. Если ξ - случайная величина, имеющая равномерное распре­деление на отрезке , то Μ ξ = . Поскольку оценка величины Mξ известна, Μξ =, то за оценку параметра θ можно взять оценку

Несмещенность оценки очевидна:

Вычислив дисперсию и предел D при n →∞, убедимся в состоятельности оценки :

Для получения другой оценки параметра θ обратимся к другой статистике. Пусть = max). Найдем распределение случайной величины:

Тогда математическое ожидание и дисперсия случайной величины

с распределением равны соответственно:

;

т.е. оценка состоятельная, но смещенная. Однако если вместо = max) рассмотреть = max), то и , и, следовательно, оценка состоятельная и несмещенная.

При этом, поскольку

существенно эффективнее оценки

Например, при п= 97 разброс оценки θ^ в 33 рала меньше разброса оценки

Последний пример еще раз показывает, что выбор статистической оценки неизвестного параметра распределения - важная и нетриви­альная задача.

В Mathcad для моделирования выборки значений случайной величи­ны, имеющей равномерное распределение на отрезке [а, Ь], предназна­чена функция runif(fc,o,b), которая формирует вектор из к случайных чисел, каждое из которых - значение равномерно распределенной на отрезке [а, 6] случайной величины.

Пусть имеется случайная величина Х с математическим ожиданием m и дисперсией D , при этом оба эти параметра неизвестны. Над величиной Х произведено N независимых экспериментов, в результате которых была получена совокупность N численных результатов x 1 , x 2 , …, x N . В качестве оценки математического ожидания естественно предложить среднее арифметическое наблюдаемых значений

Здесь в качестве x i рассматриваются конкретные значения (числа), полученные в результате N экспериментов. Если взять другие (независимые от предыдущих) N экспериментов, то, очевидно, мы получим другое значение . Если взять еще N экспериментов, то мы получим еще одно новое значение . Обозначим через X i случайную величину, являющуюся результатом i -го эксперимента, тогда реализациями X i будут числа, полученные в результате этих экспериментов. Очевидно, что случайная величина X i будет иметь такую же плотность распределения вероятности, что и исходная случайная величина Х . Также считаем, что случайные величины X i и X j являются независимыми при i , не равном j (различные независимые друг относительно друга эксперименты). Поэтому формулу (1) перепишем в другом (статистическом) виде:

Покажем, что оценка является несмещенной:

Таким образом, математическое ожидание выборочного среднего равно истинному математическому ожиданию случайной величины m . Это достаточно предсказуемый и понятный факт. Следовательно, за оценку математического ожидания случайной величины можно принять выборочное среднее (2). Теперь возникает вопрос: что происходит с дисперсией оценки математического ожидания при увеличении числа экспериментов? Аналитические вычисления показывают, что

где - дисперсия оценки математического ожидания (2), а D - истинная дисперсия случайной величины X .

Из вышесказанного следует, что с ростом N (количества экспериментов) дисперсия оценки уменьшается, т.е. чем больше мы суммируем независимые реализации, тем ближе к математическому ожиданию мы получим оценку.

Оценки математического дисперсии

На первый взгляд наиболее естественной оценкой представляется

где вычисляется по формуле (2). Проверим, является ли оценка несмещенной. Формула (3) может быть записана следующим образом :

Подставим в эту формулу выражение (2):

Найдем математическое ожидание оценки дисперсии:

Так как дисперсия случайной величины не зависит от того, какое математическое ожидание у случайной величины, примем математическое ожидание равным 0, т.е. m = 0.

Оценки математического ожидания и дисперсии.

С понятием параметров распределения мы познакомились в теории вероятностей. Например, в нормальном законе распределения, задаваемом функцией плотности вероятности

параметрами служат а – математическое ожидание и а – среднее квадратическое отклонение. В распределении Пуассона параметром является число а = пр.

Определение. Статистической оценкой неизвестного параметра теоретического распределения называют его приближенное значение, зависящее от данных выборки (х 1 , х 2 , х 3 , ..., х k ; п 1 , п 2 , п 3 , ..., п k ), т. е. некоторую функцию этих величин.

Здесь х 1 , х 2 , х 3 , ..., х k – значения признака, п 1 , п 2 , п 3 , ..., п k –соответствующие частоты. Статистическая оценка является случайной величиной.

Обозначим через θ – оцениваемый параметр, а через θ * – его статистическую оценку. Величину |θ *–θ | называют точностью оценки. Чем меньше |θ *–θ |, тем лучше, точнее определен неизвестный параметр.

Чтобы оценка θ * имела практическое значение, она не должна содержать систематической ошибки и вместе с тем иметь возможно меньшую дисперсию. Кроме того, при увеличении объема выборки вероятность сколь угодно малых отклонений |θ *–θ | должна быть близка к 1.

Сформулируем следующие определения.

1. Оценка параметра называется несмещенной, если ее математическое ожидание М (θ *) равно оцениваемому параметру θ , т. е.

М (θ *) = θ, (1)

и смещенной, если

М (θ *) ≠ θ, (2)

2. Оценка θ* называется состоятельной, если при любом δ > 0

(3)

Равенство (3) читается так: оценка θ * сходится по вероятности к θ .

3. Оценка θ* называется эффективной, если при заданном п она имеет наименьшую дисперсию.

Теорема 1. Выборочная средняя Х В является несмещенной и состоятельной оценкой математического ожидания.

Доказательство. Пусть выборка репрезентативна, т. е.. все элементы генеральной совокупности имеют одинаковую возможность попасть в выборку. Значения признака х 1 , х 2 , х 3 ,...,х n можно принять за независимые случайные величины Х 1 , Х 2 , Х 3 , ...,Х n с одинаковыми распределениями и числовыми характеристиками, в том числе с равными математическими ожиданиями, равными а,

Так как каждая из величин Х 1 , Х 2 , Х 3 , …, Х п имеет распределение, совпадающее с распределением генеральной совокупности, то М (Х ) = а. Поэтому

откуда следует, что – состоятельная оценка М (Х ).

Используя правило исследования на экстремум, можно доказать, что является и эффективной оценкой М (Х ).