Пусть имеется случайная величина Х с математическим ожиданием m и дисперсией D , при этом оба эти параметра неизвестны. Над величиной Х произведено N независимых экспериментов, в результате которых была получена совокупность N численных результатов x 1 , x 2 , …, x N . В качестве оценки математического ожидания естественно предложить среднее арифметическое наблюдаемых значений

(1)

Здесь в качестве x i рассматриваются конкретные значения (числа), полученные в результате N экспериментов. Если взять другие (независимые от предыдущих) N экспериментов, то, очевидно, мы получим другое значение . Если взять еще N экспериментов, то мы получим еще одно новое значение . Обозначим через X i случайную величину, являющуюся результатом i -го эксперимента, тогда реализациями X i будут числа, полученные в результате этих экспериментов. Очевидно, что случайная величина X i будет иметь такую же плотность распределения вероятности, что и исходная случайная величина Х . Также считаем, что случайные величины X i и X j являются независимыми при i , не равном j (различные независимые друг относительно друга эксперименты). Поэтому формулу (1) перепишем в другом (статистическом) виде:

(2)

Покажем, что оценка является несмещенной:

Таким образом, математическое ожидание выборочного среднего равно истинному математическому ожиданию случайной величины m . Это достаточно предсказуемый и понятный факт. Следовательно, за оценку математического ожидания случайной величины можно принять выборочное среднее (2). Теперь возникает вопрос: что происходит с дисперсией оценки математического ожидания при увеличении числа экспериментов? Аналитические вычисления показывают, что

где - дисперсия оценки математического ожидания (2), а D - истинная дисперсия случайной величины X .

Из вышесказанного следует, что с ростом N (количества экспериментов) дисперсия оценки уменьшается, т.е. чем больше мы суммируем независимые реализации, тем ближе к математическому ожиданию мы получим оценку.

Оценки математического дисперсии

На первый взгляд наиболее естественной оценкой представляется

(3)

где вычисляется по формуле (2). Проверим, является ли оценка несмещенной. Формула (3) может быть записана следующим образом :

Подставим в эту формулу выражение (2):

Найдем математическое ожидание оценки дисперсии:

(4)

Так как дисперсия случайной величины не зависит от того, какое математическое ожидание у случайной величины, примем математическое ожидание равным 0, т.е. m = 0.

	(5)
при .	(6)

Основные свойства точечных оценок

Для того чтобы оценка имела практическую ценность, она должна обладать следующими свойствами.

1. Оценка параметра называется несмещенной, если ее математическое ожидание равно оцениваемому параметру, т.е.

Если равенство (22.1) не выполняется, то оценка может либо завышать значение (М>), либо занижать его (М <) . Естественно в качестве приближенного неизвестного параметра брать несмещенные оценки для того, чтобы не делать систематической ошибки в сторону завышения или занижения.

2. Оценка параметра называется состоятельной, если она подчиняется закону больших чисел, т.е. сходится по вероятности к оцениваемому параметру при неограниченном возрастании числа опытов (наблюдений) и, следовательно, выполняется следующее равенство:

где > 0 сколько угодно малое число.

Для выполнения (22.2) достаточно, чтобы дисперсия оценки стремилась к нулю при, т.е.

и кроме того, чтобы оценка была несмещенной. От формулы (22.3) легко перейти к (22.2) , если воспользоваться неравенством Чебышева.

Итак, состоятельность оценки означает, что при достаточно большом количестве опытов и со сколько угодно большой достоверностью отклонение оценки от истинного значения параметра меньше любой наперед заданной величины. Этим оправдано увеличение объема выборки.

Так как - случайная величина, значение которой изменяется от выборки к выборке, то меру ее рассеивания около математического ожидания будем характеризовать дисперсией D. Пусть и - две несмещенные оценки параметра, т.е. M = и M = , соответственно D и D и, если D < D , то в качестве оценки принимают.

3. Несмещенная оценка, которая имеет наименьшую дисперсию среди всех возможных несмещенных оценок параметра, вычисленных по выборкам одного и того же объема, называется эффективной оценкой.

На практике при оценке параметров не всегда удается удовлетворить одновременно требованиям 1, 2, 3. Однако выбору оценки всегда должно предшествовать ее критическое рассмотрение со всех точек зрения. При выборке практических методов обработки опытных данных необходимо руководствоваться сформулированными свойствами оценок.

Оценка математического ожидания и дисперсии по выборке

Наиболее важными характеристиками случайной величины являются математическое ожидание и дисперсия. Рассмотрим вопрос о том, какие выборочные характеристики лучше всего оценивают математическое ожидание и дисперсию в смысле несмещенности, эффективности и состоятельности.

Теорема 23.1. Арифметическая средняя, вычисленная по n независимым наблюдениям над случайной величиной, которая имеет математическое ожидание M = , является несмещенной оценкой этого параметра.

Доказательство.

Пусть - n независимых наблюдений над случайной величиной. По условию M = , а т.к. являются случайными величинами и имеют тот же закон распределения, то тогда. По определению средняя арифметическая

Рассмотрим математическое ожидание средней арифметической. Используя свойство математического ожидания, имеем:

т.е. . В силу (22.1) является несмещенной оценкой. ?

Теорема 23.2 . Арифметическая средняя, вычисленная по n независимым наблюдениям над случайной величиной, которая имеет M = и, является состоятельной оценкой этого параметра.

Доказательство.

Пусть - n независимых наблюдений над случайной величиной. Тогда в силу теоремы 23.1 имеем M = .

Для средней арифметической запишем неравенство Чебышева:

Используя свойства дисперсии 4,5 и (23.1), имеем:

т.к. по условию теоремы.

Следовательно,

Итак, дисперсия средней арифметической в n раз меньше дисперсии случайной величины. Тогда

а это значит, что является состоятельной оценкой.

Замечание : 1 . Примем без доказательства весьма важный для практики результат. Если N (a,), то несмещенная оценка математического ожидания a имеет минимальную дисперсию, равную, поэтому является эффективной оценкой параметра а. ?

Перейдем к оценке для дисперсии и проверим ее на состоятельность и несмещенность.

Теорема 23.3 . Если случайная выборка состоит из n независимых наблюдений над случайной величиной с

M = и D = , то выборочная дисперсия

не является несмещенной оценкой D - генеральной дисперсии.

Доказательство.

Пусть - n независимых наблюдений над случайной величиной. По условию и для всех. Преобразуем формулу (23.3) выборочной дисперсии:

Упростим выражение

Принимая во внимание (23.1), откуда

Пусть имеется случайная величина X, и ее параметры математическое ожидание а и дисперсия неизвестны. Над величиной X произведеноn независимых опытов, давших результаты x 1, x 2, x n .

Не уменьшая общности рассуждений, будем считать эти значения случайной величины различными. Будем рассматривать значения x 1, x 2, x n как независимые, одинаково распределенные случайные величины X 1, X 2, X n .

Простейший метод статистического оценивания - метод подстановки и аналогии - состоит в том, что в качестве оценки той или иной числовой характеристики (среднего, дисперсии и др.) генеральной совокупности берут соответствующую характеристику распределения выборки - выборочную характеристику.

По методу подстановки в качестве оценки математического ожидания а надо взять математическое ожидание распределения выборки - выборочное среднее. Таким образом, получаем

Чтобы проверить несмещенность и состоятельность выборочного среднего как оценки а , рассмотрим эту статистику как функцию выбранного вектора (X 1, X 2, X n). Приняв во внимание, что каждая из величин X 1, X 2, X n имеет тот же закон распределения, что и величина X, заключаем, что и числовые характеристики этих величин и величины X одинаковые: M(X i ) = M(X) = a , D(X i ) = D(X) = , i = 1, 2, n, причем X i - независимые в совокупности случайные величины.

Следовательно,

Отсюда по определению получаем, что - несмещенная оценка а , и так как D()®0 при n®¥, то в силу теоремы предыдущего параграфа является состоятельной оценкой математического ожидания а генеральной совокупности.

Эффективность или неэффективность оценки зависит от вида закона распределения случайной величины X. Можно доказать, что если величина X распределена по нормальному закону, то оценка является эффективной. Для других законов распределения это может быть не так.

Несмещенной оценкой генеральной дисперсии служит исправленная выборочная дисперсия

,

Так как , где - генеральная дисперсия. Действительно,

Оценка s -- 2 для генеральной дисперсии является также и состоятельной, но не является эффективной. Однако в случае нормального распределения она является «асимптотически эффективной», то есть при увеличении n отношение ее дисперсии к минимально возможной неограниченно приближается к единице.

Итак, если дана выборка из распределения F(x ) случайной величины X с неизвестным математическим ожиданием а и дисперсией , то для вычисления значений этих параметров мы имеем право пользоваться следующими приближенными формулами:

a ,

.

Здесь x- i - - варианта выборки, n- i - - частота варианты x i , - - объем выборки.
Для вычисления исправленной выборочной дисперсии более удобна формула

.

Для упрощения расчета целесообразно перейти к условным вариантам (в качестве с выгодно брать первоначальную варианту, расположенную в середине интервального вариационного ряда). Тогда

, .

Интервальное оценивание

Выше мы рассмотрели вопрос об оценке неизвестного параметра а одним числом. Такие оценки мы назвали точечными. Они имеют тот недостаток, что при малом объеме выборки могут значительно отличаться от оцениваемых параметров. Поэтому, чтобы получить представление о близости между параметром и его оценкой, в математической статистике вводятся, так называемые, интервальные оценки.

Пусть во выборке для параметра q найдена точечная оценка q * . Обычно исследователи заранее задаются некоторой достаточно большой вероятностью g (например, 0,95; 0,99 или 0,999) такой, что событие с вероятностью g можно считать практически достоверным, и ставят вопрос об отыскании такого значения e > 0, для которого

.

Видоизменив это равенство, получим:

и будем в этом случае говорить, что интервал ]q * - e; q * + e[ покрывает оцениваемый параметр q с вероятностью g.

Интервал ]q * -e; q * +e [ называется доверительным интервалом .

Вероятность g называется надежностью (доверительной вероятностью) интервальной оценки.

Концы доверительного интервала, т.е. точки q * -e и q * +e называются доверительными границами .

Число e называется точностью оценки .

В качестве примера задачи об определении доверительных границ, рассмотрим вопрос об оценке математического ожидания случайной величины Х, имеющей нормальный закон распределения с параметрами а и s, т.е. Х = N(a , s). Математическое ожидание в этом случае равно а . По наблюдениям Х 1 , Х 2 , Х n вычислим среднее и оценку дисперсии s 2 .

Оказывается, что по данным выборки можно построить случайную величину

которая имеет распределение Стьюдента (или t-распределение) с n = n -1 степенями свободы.

Воспользуемся таблицей П.1.3 и найдем для заданных вероятности g и числа n число t g такое, при котором вероятность

P(|t(n)| < t g) = g,

.

Сделав очевидные преобразования получим,

Порядок применения F-критерия следующий:

1. Принимается предположение о нормальности распределения генеральных совокупностей. При заданном уровне значимости a формулируется нулевая гипотеза Н 0: s х 2 = s y 2 о равенстве генеральных дисперсий нормальных совокупностей при конкурирующей гипотезе Н 1: s х 2 > s y 2 .

2. Получают две независимые выборки из совокупностей Х и Y объемом n x и n y соответственно.

3. Рассчитывают значения исправленных выборочных дисперсий s х 2 и s y 2 (методы расчета рассмотрены в §13.4). Большую из дисперсий (s х 2 или s y 2) обозначают s 1 2 , меньшую - s 2 2 .

4. Вычисляется значение F-критерия по формуле F набл = s 1 2 / s 2 2 .

5. По таблице критических точек распределения Фишера - Снедекора, по заданному уровню значимости a и числом степеней свободы n 1 = n 1 - 1, n 2 = n 2 - 1 (n 1 - число степеней свободы большей исправленной дисперсии), находится критическая точка F кр (a, n 1 , n 2).

Отметим, что в таблице П.1.7 приведены критические значения одностороннего F-критерия. Поэтому, если применяется двусторонний критерий (Н 1: s х 2 ¹ s y 2), то правостороннюю критическую точку F кр (a/2, n 1 , n 2) ищут по уровню значимости a/2 (вдвое меньше заданного) и числам степеней свободы n 1 и n 2 (n 1 - число степеней свободы большей дисперсии). Левостороннюю критическую точку можно и не отыскивать.

6. Делается вывод: если вычисленное значение F-критерия больше или равно критическому (F набл ³ F кр), то дисперсии различаются значимо на заданном уровне значимости. В противном случае (F набл < F кр) нет оснований для отклонения нулевой гипотезы о равенстве двух дисперсий.

Задача 15.1 . Расход сырья на единицу продукции по старой технологии составил:

По новой технологии:

Предположив, что соответствующие генеральные совокупности X и Y имеют нормальные распределения, проверить, что по вариативности расход сырья по новой и старой технологиям не отличаются, если принять уровень значимости a = 0,1.

Решение . Действуем в порядке, указанном выше.

1. Будем судить о вариативности расхода сырья по новой и старой технологиям по величинам дисперсий. Таким образом, нулевая гипотеза имеет вид Н 0: s х 2 = s y 2 . В качестве конкурирующей примем гипотезу Н 1: s х 2 ¹ s y 2 , поскольку заранее не уверены в том, что какая-либо из генеральных дисперсий больше другой.

2-3. Найдем выборочные дисперсии. Для упрощения вычислений перейдем к условным вариантам:

u i = x i - 307, v i = y i - 304.

Все вычисления оформим в виде следующих таблиц:

u i	m i	m i u i	m i u i 2	m i (u i +1) 2		v i	n i	n i v i	n i v i 2	n i (v i +1) 2
-3		-3				-1		-2
å	-
						å	-

Контроль: å m i u i 2 + 2å m i u i + m i = Контроль: å n i v i 2 + 2å n i v i + n i = 13 + 2 + 9 = 24 = 34 + 20 + 13 = 67

Найдем исправленные выборочные дисперсии:

4. Сравним дисперсии. Найдем отношение большей исправленной дисперсии к меньшей:

.

5. По условию конкурирующая гипотеза имеет вид s х 2 ¹ s y 2 , поэтому критическая область двусторонняя и при отыскании критической точки следует брать уровни значимости, вдвое меньше заданного.

По таблице П.1.7 по уровню значимости a/2 = 0,1/2 = 0,05 и числам степеней свободы n 1 = n 1 - 1 = 12, n 2 = n 2 - 1 = 8 находим критическую точку F кр (0,05; 12; 8) = 3,28.

6. Так как F набл. < F кр то гипотезу о равенстве дисперсий расхода сырья при старой и новой технологиях принимаем.

Выше при проверке гипотез предполагалось нормальность распределения исследуемых случайных величин. Однако специальные исследования показали, что предложенные алгоритмы весьма устойчивы (особенно при больших объемах выборок) по отношению к отклонению от нормального распределения.

ТЕМА: Точечные оценки математического ожидания. Точечные оценки дисперсии. Точечная оценка вероятности события. Точечная оценка параметров равномерного распределения.

п.1. Точечные оценки математического ожидания.

Предположим, что функция распределения случайной величины ξ зависит от неизвестного параметра θ : P (ξ θ;).

Если x 1 , x 2 …., x n - выборка из генеральной совокупности случайной величиныξ, то оценкой параметра θ называется произвольная функция от выборочных значений

Значение оценки меняется от выборки к выборке и, значит, есть случайная величина. В большинстве экспериментов значение этой случайной величины близки к значению оцениваемого параметра, если для любого значения n математическое ожидание величины равно истинному значению параметра, то оценки , удовлетворяющие условию называются несмещенными . Несмещенность оценки означает, что эта оценка не несет в себе систематической ошибки.

Оценка называется состоятельной оценкой параметра θ , если для любого ξ>0 справедливо

Таким образом, с ростом объема выборки увеличивается точность результата.

Пусть x 1 , x 2 … x n – выборка из генеральной совокупности, соответствующей случайной величине ξ с неизвестным математическим ожиданием и известной дисперсией Dξ=σ 2 . Построим несколько оценок неизвестного параметра. Если, то , т.е. рассматриваемая оценка является несмещенной оценкой. Но, поскольку значение вообще не зависит от объема выборки n, то оценка не является состоятельной.

Эффективной оценкой математического ожидания нормально распределенной случайной величины является оценка

Впредь для оценки неивестного математического ожидания случайной величины будем использовать выборочное среднее, т. е.

Существуют стандартные (регулярные) методы получения оценок неизвестных параметров распределения. Наиболее известные из них: метод моментов , метод максимального правдоподобия и метод наименьших квадратов.

п.2 Точечные оценки дисперсии.

Для дисперсии σ 2 случайной величины ξ можно предложить следующую оценку:

где - выборочное среднее.

Доказано, что эта оценка состоятельная, но смещенная.

В качестве состоятельной несмещенной оценки дисперсии исполь­зуют величину

Именно несмещенностью оценки s 2 объясняется ее более частое использование в качестве оценки величины D ξ.

Заметим, что Mathcad предлагает в качестве оценки дисперсии величину , а не s 2: функция var (x ) вычисляет величину

где mean (x ) -выборочное среднее .

ЗАДАНИЕ 6.5

Μξ и дисперсии D ξ случайной величины ξ по приведенным в задании выборочным значениям .

Порядок выполнения задания

Прочитайте с диска файл, содержащий выборочные значения, или введите заданную выборку с клавиатуры.

Вычислите точечные оценки Μξ и D ξ.

Пример выполнения задания

Найдите состоятельные несмещенные оценки математического ожи­дания Μξ и дисперсии D ξ случайной величины ξ по выборочным значениям, заданным следующей таблицей.

Для выборки, заданной таблицей такого типа (приведено выборочное значение и число, указывающее, сколько раз это значение встречается в выборке), формулы для состоятельных несмещенных оценок математического ожидания и дисперсии имеют вид:

, ,

где k - количество значений в таблице; n i - количество значений x i в выборке; n - объем выборки.

Фрагмент рабочего документа Mathcad с вычислениями точечных оценок приведен ниже.

Из приведенных вычислений видно, что смещенная оценка дает заниженное значение оценки дисперсии.

п.3. Точечная оценка вероятности события

Предположим, что в некотором эксперименте событие А (благоприят­ный исход испытания) происходит с вероятностью p и не происходит с вероятностью q = 1 - р. Задача состоит в получении оценки неизвест­ного параметра распределения p по результатам серии n случайных экспериментов. При заданном числе испытаний n количество бла­гоприятных исходов m в серии испытаний - случайная величина, имеющая распределение Бернулли. Обозначим ее буквой μ.

Если событие А в серии из n независимых испытаний произошло

m раз, то оценку величины p предлагается вычислять по формуле

Выясним свойства предлагаемой оценки. Поскольку случайная ве­личина μ имеет распределение Бернулли, то Μμ= np и M = M = р , т.е. налицо несмещенная оценка.

Для испытаний Бернулли справедлива теорема Бернулли, согласно которой, т.е. оценка p состоятельная.

Доказано, что эта оценка эффективна, так как обладает при прочих равных условиях минимальной дисперсией.

В Mathcad для моделирования выборки значений случайной ве­личины, имеющей распределение Бернулли, предназначена функция rbinom(fc,η,ρ), которая формирует вектор из к случайных чисел, κα­ ι ждое из которых равно числу успехов в серии из η независимых испы­таний с вероятностью успеха ρ в каждом.

ЗАДАНИЕ 6.6

Смоделируйте несколько выборок значений случайной величины, име­ющей распределение Бернулли с заданным значением параметра р . Вычислите для каждой выборки оценку параметра p и сравните с за­данным значением. Представьте результаты вычислений графически.

Порядок выполнения задания

1. Используя функцию rbinom(1, n , p ), опишите и сформируй­те последовательность значений случайной величины, име­ющей распределение Бернулли с заданными p и n для n = 10, 20, ..., Ν, как функцию объема выборки п.

2. Вычислите для каждого значения n точечные оценки веро­ятности р.

Пример выполнения задания

Пример получения точечных оценок выборок объема n = 10, 20,..., 200 значений случайной величины μ, имеющей распределение Бернулли с параметром p = 0.3, приведен ниже.

Указание. Поскольку значением функции является вектор , число успехов в серии n независимых испытаний с вероятностью успеха p в каждом испытании содержится в первой компоненте вектора rbinom(1,n , p ) , т.е. число успехов равно rbinom(1, n , p ). В приведенном выше фрагменте k - я компонента вектора Ρ содержит число успехов в серии 10k независимых испытаний для k = 1,2,..., 200.

п. 4. Точечная оценка параметров равномерного распределения

Обратимся еще к одному поучительному примеру. Пусть - выборка из генеральной совокупности, соответствующей случай­ной величине ξ, имеющей равномерное распределение на отрезке с неизвестным параметром θ . Наша задача - оценить этот неизвестный параметр.

Рассмотрим один из возможных способов построения требуемой оценки. Если ξ - случайная величина, имеющая равномерное распре­деление на отрезке , то Μ ξ = . Поскольку оценка величины Mξ известна, Μξ =, то за оценку параметра θ можно взять оценку

Несмещенность оценки очевидна:

Вычислив дисперсию и предел D при n →∞, убедимся в состоятельности оценки :

Для получения другой оценки параметра θ обратимся к другой статистике. Пусть = max). Найдем распределение случайной величины:

Тогда математическое ожидание и дисперсия случайной величины

с распределением равны соответственно:

;

т.е. оценка состоятельная, но смещенная. Однако если вместо = max) рассмотреть = max), то и , и, следовательно, оценка состоятельная и несмещенная.

При этом, поскольку

существенно эффективнее оценки

Например, при п= 97 разброс оценки θ^ в 33 рала меньше разброса оценки

Последний пример еще раз показывает, что выбор статистической оценки неизвестного параметра распределения - важная и нетриви­альная задача.

В Mathcad для моделирования выборки значений случайной величи­ны, имеющей равномерное распределение на отрезке [а, Ь], предназна­чена функция runif(fc,o,b), которая формирует вектор из к случайных чисел, каждое из которых - значение равномерно распределенной на отрезке [а, 6] случайной величины.

Оценки математического ожидания и дисперсии.

С понятием параметров распределения мы познакомились в теории вероятностей. Например, в нормальном законе распределения, задаваемом функцией плотности вероятности

параметрами служат а – математическое ожидание и а – среднее квадратическое отклонение. В распределении Пуассона параметром является число а = пр.

Определение. Статистической оценкой неизвестного параметра теоретического распределения называют его приближенное значение, зависящее от данных выборки (х 1 , х 2 , х 3 , ..., х k ; п 1 , п 2 , п 3 , ..., п k ), т. е. некоторую функцию этих величин.

Здесь х 1 , х 2 , х 3 , ..., х k – значения признака, п 1 , п 2 , п 3 , ..., п k –соответствующие частоты. Статистическая оценка является случайной величиной.

Обозначим через θ – оцениваемый параметр, а через θ * – его статистическую оценку. Величину |θ *–θ | называют точностью оценки. Чем меньше |θ *–θ |, тем лучше, точнее определен неизвестный параметр.

Чтобы оценка θ * имела практическое значение, она не должна содержать систематической ошибки и вместе с тем иметь возможно меньшую дисперсию. Кроме того, при увеличении объема выборки вероятность сколь угодно малых отклонений |θ *–θ | должна быть близка к 1.

Сформулируем следующие определения.

1. Оценка параметра называется несмещенной, если ее математическое ожидание М (θ *) равно оцениваемому параметру θ , т. е.

М (θ *) = θ, (1)

и смещенной, если

М (θ *) ≠ θ, (2)

2. Оценка θ* называется состоятельной, если при любом δ > 0

(3)

Равенство (3) читается так: оценка θ * сходится по вероятности к θ .

3. Оценка θ* называется эффективной, если при заданном п она имеет наименьшую дисперсию.

Теорема 1. Выборочная средняя Х В является несмещенной и состоятельной оценкой математического ожидания.

Доказательство. Пусть выборка репрезентативна, т. е.. все элементы генеральной совокупности имеют одинаковую возможность попасть в выборку. Значения признака х 1 , х 2 , х 3 ,...,х n можно принять за независимые случайные величины Х 1 , Х 2 , Х 3 , ...,Х n с одинаковыми распределениями и числовыми характеристиками, в том числе с равными математическими ожиданиями, равными а,

Так как каждая из величин Х 1 , Х 2 , Х 3 , …, Х п имеет распределение, совпадающее с распределением генеральной совокупности, то М (Х ) = а. Поэтому

откуда следует, что – состоятельная оценка М (Х ).

Используя правило исследования на экстремум, можно доказать, что является и эффективной оценкой М (Х ).