Прогнозирование по уравнению регрессии представляет собой подстановку в уравнение регрессии соответственного значения х . Такой прогноз называется точечным. Он не является точным, поэтому дополняется расчетом стандартной ошибки ; получается интервальная оценка прогнозного значения :
Преобразуем уравнение регрессии:
ошибка зависит от ошибки и ошибки коэффициента регрессии т.е. 
Из теории выборки известно, что
Используем в качестве оценки остаточную дисперсию на одну степень свободы получаем:
Ошибка коэффициента регрессии из формулы (15):
Таким образом, при получаем:
(23)
Как видно из формулы (23), величина достигает минимума при и возрастает по мере удаления от в любом направлении.
 |
Для нашего примера эта величина составит:
При 
. При
Для прогнозируемого значения 95% - ные доверительные интервалы при заданном определены выражением:
(24)
т.е. при 
или При прогнозное значение составит - это точечный прогноз.
Прогноз линии регрессии лежит в интервале:
Мы рассмотрели доверительные интервалы для среднего значения при заданном Однако фактические значения варьируются около среднего значения они могут отклоняться на величину случайной ошибки ε, дисперсия которой оценивается как остаточная дисперсия на одну степень свободы Поэтому ошибка прогноза отдельного значения должна включать не только стандартную ошибку , но и случайную ошибку S . Таким образом, средняя ошибка прогноза индивидуального значения составит:
(25)
Для примера:
Доверительный интервал прогноза индивидуальных значений при с вероятностью 0,95 составит: или 
Пусть в примере с функцией издержек выдвигается предположение, что в предстоящем году в связи со стабилизацией экономики затраты на производство 8 тыс. ед. продукции не превысят 250 млн. руб. Означает ли это изменение найденной закономерности или затраты соответствуют регрессионной модели?
Точечный прогноз:
Предполагаемое значение - 250. Средняя ошибка прогнозного индивидуального значения:
Сравним ее с предполагаемым снижением издержек производства, т.е. 250-288,93=-38,93:
Поскольку оценивается только значимость уменьшения затрат, то используется односторонний t
- критерий Стьюдента. При ошибке в 5 % с 
, поэтому предполагаемое уменьшение затрат значимо отличается от прогнозируемого значения при 95 % - ном уровне доверия. Однако, если увеличить вероятность до 99%, при ошибке 1 % фактическое значение t
– критерия оказывается ниже табличного 3,365, и различие в затратах статистически не значимо, т.е. затраты соответствуют предложенной регрессионной модели.
Нелинейная регрессия
До сих пор мы рассматривали лишь линейную модель регрессионной зависимости y от x (3). В то же время многие важные связи в экономике являются нелинейными . Примерами такого рода регрессионных моделей являются производственные функции (зависимости между объемом произведенной продукции и основными факторами производства – трудом, капиталом и т.п.) и функции спроса (зависимости между спросом на какой-либо вид товаров или услуг, с одной стороны, и доходом и ценами на этот и другие товары – с другой).
При анализе нелинейных регрессионных зависимостей наиболее важным вопросом применения классического МНК является способ их линеаризации. В случае линеаризации нелинейной зависимости получаем линейное регрессионное уравнение типа (3), параметры которого оцениваются обычным МНК, после чего можно записать исходное нелинейное соотношение.
Несколько особняком в этом смысле стоит полиномиальная модель произвольной степени:
к которой обычный МНК можно применять без всякой предварительной линеаризации.
Рассмотрим указанную процедуру применительно к параболе второй степени:
(27)
Такая зависимость целесообразна в случае, если для некоторого интервала значений фактора возрастающая зависимость меняется на убывающую или наоборот. В этом случае можно определить значение фактора, при котором достигается максимальное или минимальное значение результативного признака. Если исходные данные не обнаруживают изменение направленности связи, параметры параболы становятся трудно интерпретируемыми, и форму связи лучше заменить другими нелинейными моделями.
Применение МНК для оценки параметров параболы второй степени сводится к дифференцированию суммы квадратов остатков регрессии по каждому из оцениваемых параметров и приравниванию полученных выражений нулю. Получается система нормальных уравнений, число которых равно числу оцениваемых параметров, т.е. трем:
(28)
Решать эту систему можно любым способом, в частности, методом определителей.
Экстремальное значение функции наблюдается при значении фактора, равном:
Если b>0, c<0 , имеет место максимум, т.е. зависимость сначала растет, а затем падает. Такого рода зависимости наблюдаются в экономике труда при изучении заработной платы работников физического труда, когда в роли фактора выступает возраст. При b<0, c>0 парабола имеет минимум, что обычно проявляется в удельных затратах на производство в зависимости от объема выпускаемой продукции.
В нелинейных зависимостях, не являющихся классическими полиномами, обязательно проводится предварительная линеаризация, которая заключается в преобразовании или переменных, или параметров модели, или в комбинации этих преобразований. Рассмотрим некоторые классы таких зависимостей.
Зависимости гиперболического типа имеют вид:
(29)
Примером такой зависимости является кривая Филлипса, констатирующая обратную зависимость процента прироста заработной платы от уровня безработицы. В этом случае значение параметра b будет больше нуля. Другим примером зависимости (29) являются кривые Энгеля, формулирующие следующую закономерность: с ростом дохода доля доходов, расходуемых на продовольствие, уменьшается, а доля доходов, расходуемых на непродовольственные товары, будет возрастать. В этом случае b<0 , а результативный признак в (29) показывает долю расходов на непродовольственные товары.
Линеаризация уравнения (29) сводится к замене фактора z=1/x , и уравнение регрессии имеет вид (3), в котором вместо фактора х используем фактор z :
(30)
К такому же линейному уравнению сводится полулогарифмическая кривая:
(31)
которая может быть использована для описания кривых Энгеля. Здесь ln(x) заменяется на z , и получается уравнение (30).
Достаточно широкий класс экономических показателей характеризуется приблизительно постоянным темпом относительного прироста во времени. Этому соответствуют зависимости показательного (экспоненциального) типа, которые записываются в виде:
(32)
или в виде
(33)
Возможна и такая зависимость:
(34)
В регрессиях типа (32) – (34) применяется один и тот же способ линеаризации – логарифмирование. Уравнение (32) приводится к виду:
(35)
Замена переменной сводит его к линейному виду:
, (36)
где . Если Е удовлетворяет условиям Гаусса-Маркова, параметры уравнения (32) оцениваются по МНК из уравнения (36). Уравнение (33) приводится к виду:
, (37)
который отличается от (35) только видом свободного члена, и линейное уравнение выглядит так:
, (38)
где . Параметры А и b получаются обычным МНК, затем параметр a в зависимости (33) получается как антилогарифм А . При логарифмировании (34) получаем линейную зависимость:
где , а остальные обозначения те же, что и выше. Здесь также применяется МНК к преобразованным данным, а параметр b для (34) получается как антилогарифм коэффициента В .
Широко распространены в практике социально-экономических исследований степенные зависимости. Они используются для построения и анализа производственных функций. В функциях вида:
(40)
особенно ценным является то обстоятельство, что параметр b равен коэффициенту эластичности результативного признака по фактору х . Преобразуя (40) путем логарифмирования, получаем линейную регрессию:
(41)
Еще одним видом нелинейности, приводимым к линейному виду, является обратная зависимость:
(42)
Проводя замену u=1/y , получим:
(43)
Наконец, следует отметить зависимость логистического типа:
(44)
Графиком функции (44) является так называемая «кривая насыщения», которая имеет две горизонтальные асимптоты y=0 и y=1/a и точку перегиба , а также точку пересечения с осью ординат y=1/(a+b) :
 |
Уравнение (44) приводится к линейному виду заменами переменных 
.
Любое уравнение нелинейной регрессии, как и линейной зависимости, дополняется показателем корреляции, который в данном случае называется индексом корреляции:
(45)
Здесь - общая дисперсия результативного признака y
, - остаточная дисперсия, определяемая по уравнению нелинейной регрессии . Следует обратить внимание на то, что разности в соответствующих суммах 
и 
берутся не в преобразованных, а в исходных значениях результативного признака. Иначе говоря, при вычислении этих сумм следует использовать не преобразованные (линеаризованные) зависимости, а именно исходные нелинейные уравнения регрессии. По-другому (45) можно записать так:
(46)
Величина R находится в границах , и чем ближе она к единице, тем теснее связь рассматриваемых признаков, тем более надежно найденное уравнение регрессии. При этом индекс корреляции совпадает с линейным коэффициентом корреляции в случае, когда преобразование переменных с целью линеаризации уравнения регрессии не проводится с величинами результативного признака. Так обстоит дело с полулогарифмической и полиномиальной регрессий, а также с равносторонней гиперболой (29). Определив линейный коэффициент корреляции для линеаризованных уравнений, например, в пакете Excel с помощью функции ЛИНЕЙН, можно использовать его и для нелинейной зависимости.
Иначе обстоит дело в случае, когда преобразование проводится также с величиной y , например, взятие обратной величины или логарифмирование. Тогда значение R , вычисленное той же функцией ЛИНЕЙН, будет относиться к линеаризованному уравнению регрессии, а не к исходному нелинейному уравнению, и величины разностей под суммами в (46) будут относиться к преобразованным величинам, а не к исходным, что не одно и то же. При этом, как было сказано выше, для расчета R следует воспользоваться выражением (46), вычисленным по исходному нелинейному уравнению.
Поскольку в расчете индекса корреляции используется соотношение факторной и общей СКО, то R 2 имеет тот же смысл, что и коэффициент детерминации. В специальных исследованиях величину R 2 для нелинейных связей называют индексом детерминации.
Оценка существенности индекса корреляции проводится так же, как и оценка надежности коэффициента корреляции.
Индекс детерминации используется для проверки существенности в целом уравнения нелинейной регрессии по F -критерию Фишера:
, (47)
где n -число наблюдений, m -число параметров при переменных х . Во всех рассмотренных нами случаях, кроме полиномиальной регрессии, m =1, для полиномов (26) m=k , т.е. степени полинома. Величина m характеризует число степеней свободы для факторной СКО, а (n-m-1) – число степеней свободы для остаточной СКО.
Индекс детерминации R 2 можно сравнивать с коэффициентом детерминации r 2 для обоснования возможности применения линейной функции. Чем больше кривизна линии регрессии, тем больше разница между R 2 и r 2 . Близость этих показателей означает, что усложнять форму уравнения регрессии не следует и можно использовать линейную функцию. Практически, если величина (R 2 -r 2) не превышает 0,1, то линейная зависимость считается оправданной. В противном случае проводится оценка существенности различия показателей детерминации, вычисленных по одним и тем же данным, через t -критерий Стьюдента:
(48)
Здесь в знаменателе находится ошибка разности (R 2 -r 2) , определяемая по формуле:
(49)
Если , то различия между показателями корреляции существенны и замена нелинейной регрессии линейной нецелесообразна.
В заключение приведем формулы расчета коэффициентов эластичности для наиболее распространенных уравнений регрессии:
| Вид уравнения регрессии | Коэффициент эластичности |
 | |
 |  |
 | |
| | |
 | |
| |
Список учебной литературы
1. Эконометрика: Учебник /Под ред. И.И. Елисеевой/ - М.: Финансы и статистика, 2001. – 344с.
2. Практикум по эконометрике: Учебное пособие / И.И. Елисеева и др./ - М.: Финансы и статистика, 2001. – 192с.
3. Бородич С.А. Эконометрика: Учебное пособие. – М.: Новое знание. 2001. – 408с.
4. Магнус Я.Р., Катышев П.К., Пересецкий А.А., Эконометрика. Начальный курс. Учебное пособие. – М.: Дело, 1998. – 248с.
5. Доугерти К. Введение в эконометрику. – М.: ИНФРА-М, 1997. – 402с.
Точечный прогноз заключается в получении прогнозного значения уp , которое определяется путем подстановки в уравнение регрессии соответствующего (прогнозного) значения xp:
уp = a + b* xp
Интервальный прогноз заключается в построении доверительного интервала прогноза, т. е. нижней и верхней границ уpmin , уpmax интервала, содержащего точную величину для прогнозного значения yp (ypmin < yp < ypmin ) с заданной вероятностью.
При построении доверительного интервала прогноза используется стандартная ошибка прогноза :
Где
Строится доверительный интервал прогноза :
Множественный регрессионный анализ
(слайд 1) Множественная регрессия применяется в ситуациях, когда из множества факторов, влияющих на результативный признак, нельзя выделить один доминирующий фактор и необходимо учитывать влияние нескольких факторов. Например, объем выпуска продукции определяется величиной основных и оборотных средств, численностью персонала, уровнем менеджмента и т. д., уровень спроса зависит не только от цены, но и от имеющихся у населения денежных средств.
Основная цель множественной регрессии – построить модель с несколькими факторами и определить при этом влияние каждого фактора в отдельности, а также их совместное воздействие на изучаемый показатель.
Таким образом, множественная регрессия – это уравнение связи с несколькими независимыми переменными:
(слайд 2) Построение уравнения множественной регрессии
1. Постановка задачи
По имеющимся данным n наблюдений (табл. 3.1) за совместным изменением p +1 параметра y и xj и ((yi,xj,i ); j =1, 2, ..., p ; i =1, 2, ..., n ) необходимо определить аналитическую зависимость ŷ = f(x1 ,x2 ,...,xp) , наилучшим образом описывающую данные наблюдений.
Таблица 3.1
Данные наблюдений
|
x1 1 | |||||
|
х1 2 | |||||
|
х1 n |
x 2 n |
Каждая строка таблицы представляет собой результат одного наблюдения. Наблюдения различаются условиями их проведения.
Вопрос о том, какую зависимость следует считать наилучшей, решается на основе какого-либо критерия. В качестве такого критерия обычно используется минимум суммы квадратов отклонений расчетных значений результативного показателя ŷi от наблюдаемых значений yi:
2. Спецификация модели
(слайд 3) Спецификация модели включает в себя решение двух задач:
– отбор факторов, подлежащих включению в модель;
– выбор формы уравнения регрессии.
2.1. Отбор факторов при построении множественной регрессии
Включение в уравнение множественной регрессии того или иного набора факторов связано прежде всего с представлениями исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями.
К факторам, включаемым в модель, предъявляются следующие требования :
1. Факторы должны быть количественно измеримы. Включение фактора в модель должно приводить к существенному увеличению доли объясненной части в общей вариации зависимой переменной. Поскольку данная величина характеризуется коэффициентом детерминации , включение нового фактора в модель должно приводить к заметному изменению коэффициента. Если этого не происходит, то включаемый в анализ фактор не улучшает модель и является лишним.
Например, если для регрессии, включающей 5 факторов, коэффициент детерминации составил 0,85, и включение шестого фактора дало коэффициент детерминации 0,86, то вряд ли целесообразно дополнять модель этим фактором.
Если необходимо включить в модель качественный фактор, не имеющий количественной оценки, то нужно придать ему количественную определенность. В этом случае в модель включается соответствующая ему «фиктивная» переменная , имеющая конечное количество формально численных значений, соответствующих градациям качественного фактора (балл, ранг).
Например, если нужно учесть влияние уровня образования (на размер заработной платы), то в уравнение регрессии можно включить переменную, принимающую значения: 0 – при начальном образовании, 1 – при среднем, 2 – при высшем.
Несмотря на то, что теоретически регрессионная модель позволяет учесть любое количество факторов, на практике в этом нет необходимости, т.к. неоправданное их увеличение приводит к затруднениям в интерпретации модели и снижению достоверности результатов.
2. Факторы не должны быть взаимно коррелированы и, тем более, находиться в точной функциональной связи. Наличие высокой степени коррелированности между факторами может привести к неустойчивости и ненадежности оценок коэффициентов регрессии, а также к невозможности выделить изолированное влияние факторов на результативный показатель. В результате параметры регрессии оказываются неинтерпретируемыми.
Пример . Рассмотрим регрессию себестоимости единицы продукции (у ) от заработной платы работника (х ) и производительности труда в час (z ).
Коэффициент регрессии при переменной z показывает, что с ростом производительности труда на 1 ед-цу в час себестоимость единицы продукции снижается в среднем на 10 руб. при постоянном уровне оплаты труда.
А параметр при х нельзя интерпретировать как снижение себестоимости единицы продукции за счет роста заработной платы. Отрицательное значение коэффициента регрессии в данном случае обусловлено высокой корреляцией между х и z (0,95).
(слайд 4) Считается, что две переменные явно коллинеарны , т.е. находятся между собой в линейной зависимости, если коэффициент интеркорреляции (корреляции между двумя объясняющими переменными) ≥ 0,7. Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из уравнения. Предпочтение при этом отдается не тому фактору, который более тесно связан с результатом, а тому, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами.
В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.
Наряду с парной коллинеарностью может иметь место линейная зависимость между более чем двумя переменными – мультиколлинеарность , т.е. совокупное воздействие факторов друг на друга.
Наличие мультиколлинеарности факторов может означать, что некоторые факторы всегда будут действовать в унисон. В результате вариация в исходных данных перестанет быть полностью независимой, что не позволит оценить воздействие каждого фактора в отдельности. Чем сильнее мультиколлинеарность факторов, тем менее надежна оценка распределения суммы объясненной вариации по отдельным факторам с помощью МНК.
(слайд 5) Включение в модель мультиколлинеарных факторов нежелательно по следующим причинам :
затрудняется интерпретация параметров множественной регрессии; параметры линейной регрессии теряют экономический смысл;
оценки параметров не надежны, имеют большие стандартные ошибки и меняются с изменением количества наблюдений (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогнозирования.
(слайд 6) Для оценки мультиколлинеарности используется определитель матрицы парных коэффициентов интеркорреляции :
(!)
Если факторы не коррелируют между собой
,
то матрица коэффициентов интеркорреляции
является единичной, поскольку в этом
случае все недиагональные элементы
равны 0. Например, для уравнения с тремя
переменными
матрица коэффициентов интеркорреляции
имела бы определитель, равный 1, поскольку
и
.
(слайд 7)
(!) Если между факторами существует полная линейная зависимость и все коэффициенты корреляции равны 1, то определитель такой матрицы равен 0 (Если две строки матрицы совпадают, то её определитель равен нулю).
Чем ближе к 0 определитель матрицы коэффициентов интеркорреляции, тем сильнее мультиколлинеарность и ненадежнее результаты множественной регрессии.
Чем ближе к 1 определитель матрицы коэффициентов интеркорреляции, тем меньше мультиколлинеарность факторов.
(слайд 8) Способы преодоления мультиколлинеарности факторов :
1) исключение из модели одного или нескольких факторов;
2)
переход к совмещенным уравнениям
регрессии, т.е. к уравнениям, которые
отражают не только влияние факторов,
но и их взаимодействие. Например, если
,
то можно построить следующее совмещенное
уравнение:;
3) переход к уравнениям приведенной формы (в уравнение регрессии подставляется рассматриваемый фактор, выраженный из другого уравнения).
(слайд 9) 2.2. Выбор формы уравнения регрессии
Различают следующие виды уравнений множественной регрессии :
линейные,
нелинейные, сводящиеся к линейным,
нелинейные, не сводящиеся к линейным (внутренне нелинейные).
В первых двух случаях для оценки параметров модели применяются методы классического линейного регрессионного анализа. В случае внутренне нелинейных уравнений для оценки параметров применяются методы нелинейной оптимизации.
Основное требование, предъявляемое к уравнениям регрессии, заключается в наличии наглядной экономической интерпретации модели и ее параметров. Исходя из этих соображений, наиболее часто используются линейная и степенная зависимости.
Линейная множественная регрессия имеет вид:
Параметры bi при факторах хi называются коэффициентами «чистой» регрессии . Они показывают, на сколько единиц в среднем изменится результативный признак за счет изменения соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.
(слайд 10) Например, зависимость спроса на товар (Qd) от цены (P) и дохода (I) характеризуется следующим уравнением:
Qd = 2,5 - 0,12P + 0,23 I.
Коэффициенты данного уравнения говорят о том, что при увеличении цены на единицу, спрос уменьшится в среднем на 0,12 единиц, а при увеличении дохода на единицу, спрос возрастет в среднем 0,23 единицы.
Параметр а не всегда может быть содержательно проинтерпретирован.
Степенная множественная регрессия имеет вид:
Параметры bj (степени факторов хi ) являются коэффициентами эластичности. Они показывают, на сколько % в среднем изменится результативный признак за счет изменения соответствующего фактора на 1% при неизмененном значении остальных факторов.
Наиболее широкое применение этот вид уравнения регрессии получил в производственных функциях, а также при исследовании спроса и потребления.
Например, зависимость
выпуска продукции Y от затрат капитала
K и труда L:
говорит
о том, что увеличение затрат капитала
K на 1% при неизменных затратах труда
вызывает увеличение выпуска продукции
Y на 0,23%. Увеличение затрат труда L на 1%
при неизменных затратах капитала K
вызывает увеличение выпуска продукции
Y на 0,81 %.
Возможны и другие линеаризуемые функции для построения уравнения множественной регрессии:
Чем сложнее функция, тем менее интерпретируемы ее параметры. Кроме того, необходимо помнить о соотношении между количеством наблюдений и количеством факторов в модели. Так, для анализа трехфакторной модели должно быть проведено не менее 21 наблюдения.
(слайд 11) 3. Оценка параметров модели
Параметры уравнения множественной регрессии оцениваются, как и в парной регрессии, методом наименьших квадратов , согласно которому следует выбирать такие значения параметров а и bi , при которых сумма квадратов отклонений фактических значений результативного признака yi от теоретических значений ŷ минимальна, т. е.:
Если , тогдаS является функцией неизвестных параметров a , bi :
Чтобы найти минимум функции, нужно найти частные производные по каждому из параметров и приравнять их к 0:
Отсюда получаем систему уравнений:
(слайд 12) Ее решение может быть осуществлено методом определителей:
,
где ∆ – определитель системы;
∆a , ∆ b 1, ∆ bp – частные определители (∆ j ).
–определитель
системы,
∆j
– частные
определители, которые получаются из
основного определителя путем замены
j-го столбца на столбец свободных членов
.
При использовании данного метода возможно возникновение следующих ситуаций:
1) если основной определитель системы Δ равен нулю и все определители Δj также равны нулю, то данная система имеет бесконечное множество решений;
2) если основной определитель системы Δ равен нулю и хотя бы один из определителей Δj также равен нулю, то система решений не имеет.
(слайд 13) Помимо классического МНК для определения неизвестных параметров линейной модели множественной регрессии используется метод оценки параметров через β -коэффициенты – стандартизованные коэффициенты регрессии.
Построение модели множественной регрессии в стандартизированном, или нормированном, масштабе означает, что все переменные, включенные в модель регрессии, стандартизируются с помощью специальных формул.
У равнение регрессии в стандартизованном масштабе:
где
,
- стандартизованные переменные;
- стандартизованные
коэффициенты регрессии.
Т.е. посредством процесса стандартизации точкой отсчета для каждой нормированной переменной устанавливается ее среднее значение по выборочной совокупности. При этом в качестве единицы измерения стандартизированной переменной принимается ее среднеквадратическое отклонение σ .
β -коэффициенты показывают , на сколько сигм (средних квадратических отклонений) изменится в среднем результат за счет изменения соответствующего фактора xi на одну сигму при неизменном среднем уровне других факторов.
Стандартизованные коэффициенты регрессии βi сравнимы между собой, что позволяет ранжировать факторы по силе их воздействия на результат. Большее относительное влияние на изменение результативной переменной y оказывает тот фактор, которому соответствует большее по модулю значение коэффициента βi . В этом основное достоинство стандартизованных коэффициентов регрессии , в отличие от коэффициентов «чистой» регрессии, которые не сравнимы между собой.
(слайд 14) Связь коэффициентов «чистой» регрессии bi с коэффициентами βi описывается соотношением:
,
или
Параметр a определяется как .
Коэффициенты β определяются при помощи МНК из следующей системы уравнений методом определителей:
Для оценки параметров нелинейных уравнений множественной регрессии предварительно осуществляется преобразование последних в линейную форму (с помощью замены переменных) и МНК применяется для нахождения параметров линейного уравнения множественной регрессии в преобразованных переменных. В случае внутренне нелинейных зависимостей для оценки параметров приходится применять методы нелинейной оптимизации.
(слайд 1) 4. Проверка качества уравнения регрессии
Практическая значимость уравнения множественной регрессии оценивается с помощью показателя множественной корреляции и его квадрата – коэффициента детерминации.
Показатель множественной корреляции характеризует тесноту связи рассматриваемого набора факторов с исследуемым признаком, т.е. оценивает тесноту совместного влияния факторов на результат.
Независимо от формы связи показатель множественной корреляции рассчитывается по формуле:
Коэффициент множественной корреляции принимает значения в диапазоне 0 ≤ R ≤ 1. Чем ближе он к 1, тем теснее связь результативного признака со всем набором исследуемых факторов.
При линейной зависимости признаков формулу индекса множественной корреляции можно записать в виде:
,
где
-
стандартизованные коэффициенты
регрессии,
-
парные коэффициенты корреляции результата
с каждым фактором.
Данная формула получила название линейного коэффициента множественной корреляции , или совокупного коэффициента корреляции .
Индекс детерминации
для нелинейных по оцениваемым параметрам
функций принято называть «квази-
».
Для его
определения по функциям, использующим
логарифмические преобразования
(степенная, экспонента), необходимо
сначала найти теоретические значения
ln
y,
затем трансформировать их через
антилогарифмы (антилогарифм ln
y
= y)
и далее определить индекс детерминации
как «квази-
»
по формуле:
.
Величина «квази-
»
не будет совпадать с совокупным
коэффициентом корреляции, который может
быть рассчитан для линейного в логарифмах
уравнения множественной регрессии,
потому что в последнем раскладывается
на факторную и остаточную суммы квадратов
не
,
а
.
(слайд
2)
Использование коэффициента множественной
детерминации
для оценки качества модели обладает
тем недостатком, что включение в модель
нового фактора (даже несущественного)
автоматически увеличивает величину
.
Поэтому при большом количестве факторов
предпочтительней использовать так
называемый скорректированный
(улучшенный) коэффициент множественной
детерминации
,
определяемый соотношением:
где n – число наблюдений,
m
– число параметров при переменных х
(чем больше величина m,
тем сильнее различия между к-том множ.
детерминации
и скорректированным к-том
).
При заданном объеме
наблюдений и при прочих равных условиях
с увеличением числа независимых
переменных (параметров) скорректированный
к-т множ. детерминации убывает. Его
величина может стать и отрицательной
при слабых связях результата с факторами.
При небольшом числе наблюдений
нескорректированная величина к-та
имеет
тенденцию переоценивать долю вариации
результативного признака, связанную с
влиянием факторов, включенных в
регрессионную модель. Чем
больше объем совокупности, по которой
исчислена регрессия, тем меньше
различаются
и
.
Отметим, что низкое значение коэффициента множественной корреляции и коэффициента множественной детерминации может быть обусловлено следующими причинами :
– в регрессионную модель не включены существенные факторы;
– неверно выбрана форма аналитической зависимости, не отражающая реальные соотношения между переменными, включенными в модель.
(слайд 3) Значимость уравнения множественной регрессии в целом оценивается с помощью F - критерия Фишера :
Выдвигаемая «нулевая» гипотеза H0 о статистической незначимости уравнения регрессии отвергается при выполнении условия F > F крит, где F крит определяется по таблицам F -критерия Фишера по двум степеням свободы k 1 = m , k 2= n- m - 1 и заданному уровню значимости α.
Значимость одного и того же фактора может быть различной в зависимости от последовательности введения его в модель.
(слайд 4) Мерой для оценки включения фактора в модель служит частный F -критерий (оценивает статистическую значимость присутствия каждого из факторов в уравнении):
,
где
-
коэффициент множ. детерминации для
модели с полным
набором факторов;
-
тот же показатель, но без включения в
модель фактора х1
;
n – число наблюдений;
m – число параметров при переменных х.
Если фактическое значение F превышает табличное, то дополнительное включение в модель фактора xi статистически оправдано и коэффициент чистой регрессии bi при факторе xi статистически значим.
Если же фактическое значение F меньше табличного, то нецелесообразно включать в модель дополнительный фактор, поскольку он не увеличивает существенно долю объясненной вариации результата, а коэффициент регрессии при данном факторе статистически не значим.
(слайд
5)
Частный
F-критерий
оценивает значимость коэффициентов
чистой регрессии. Зная величину
,
можно определить и t
-критерий
Стьюдента
:
или
где m bi – средняя квадратическая ошибка коэффициента регрессии b i , она может быть определена по формуле:
.
Величина стандартной ошибки совместно с t-распределением Стьюдента при n-m-1 степенях свободы применяется для проверки значимости коэффициента регрессии и для расчета его доверительного интервала.
Применение линейной регрессии в прогнозировании
Прогнозирование - это самостоятельная отрасль науки, которая находит широкое применение во всех сферах человеческой деятельности. Существует большое разнообразие видов и способов прогнозирования, разработанных с учетом характера рассматриваемых задач, целей исследования, состояния информации. Этим вопросам посвящено много книг и журнальных статей. Покажем на примере линейной регрессии применение эконометрических моделей в прогнозировании значений экономических показателей.
В обыденном понимании прогнозирование - это предсказание будущего состояния интересующего нас объекта или явления на основе ретроспективных данных о прошлом и настоящем состояниях при условии наличия причинно-следственной связи между прошлым и будущим. Можно сказать, что прогноз - это догадка, подкрепленная знанием. Поскольку прогностические оценки по сути своей являются приближенными, может возникнуть сомнение относительно его целесообразности вообще. Поэтому основное требование, предъявляемое к любому прогнозу, заключается в том, чтобы в пределах возможного минимизировать погрешности в соответствующих оценках. По сравнению со случайными и интуитивными прогнозами, научно обоснованные и планомерно разрабатываемые прогнозы без сомнения являются более точными и эффективными. Как раз такими являются прогнозы, основанные на использовании методов статистического анализа. Можно утверждать, что из всех способов прогнозирования именно они внушают наибольшее доверие, во-первых, потому что статистические данные служат надежной основой для принятия решений относительно будущего, во-вторых, такие прогнозы вырабатываются и подвергаются тщательной проверке с помощью фундаментальных методов математической статистики.
Оценка параметров линейной регрессии представляет собой прогноз истинных значений этих параметров, выполненный на основе статистических данных. Полученные прогнозы, оказываются достаточно эффективными, так как они являются несмещенными оценками истинных параметров.
Применим модель линейной регрессии (8.2.4) с найденными параметрами (8.2.8) и (8.2.9) для определения объясняемой переменной на некоторое множество ненаблюдаемых значений объясняющей переменной . Точнее говоря, поставим задачу прогнозирования среднего значения , соответствующего некоторому значению объясняющей переменной , которое не совпадает ни с одним значением . При этом может лежать как между выборочными наблюдениями 
так и вне интервала . Прогноз значения может быть точечным или интервальным. Ограничимся рассмотрением точечного прогноза, т.е. искомое значение определим в виде
где - наблюдаемые значения случайной величины , а - коэффициенты (веса), которые должны быть выбраны так, чтобы был наилучшим линейным несмещенным прогнозом, т.е. чтобы
Из (8.5.1) для наблюдаемых значений
Так как по свойству математического ожидания ((2.5.4) - (2.5.5))
,
Но так как в правой части под оператором математического ожидания стоят только постоянные числа, то
Учитывая соотношение можем сказать теперь, что будет несмещенным линейным прогнозом для тогда и только тогда, когда
Следовательно, всякий вектор удовлетворяющий условиям (8.5.2), делает выражение (8.5.1) несмещенным линейным прогнозом величины . Поэтому надо найти конкретное выражение весов через известные нам величины. Для этого решим задачу минимизации дисперсии величины :
Так как под оператором дисперсии в первом слагаемом правой части уравнения стоят постоянные числа, то
С учетом предположений b) и c) и пользуясь свойствами дисперсии (2.5.4) и (2.5.6), имеем:
где - среднеквадратическое отклонение случайной величины .
Составим оптимизационную задачу минимизации дисперсии с ограничениями (8.5.2):
при ограничениях
Так как множитель не зависит от и не влияет на минимальное значение целевой функции, то функцию Лагранжа (см. (2.3.8)) сконструируем следующим образом:
где и - множители Лагранжа. Необходимые условия оптимальности точки имеют вид (см. (2.3.9)):
(8.5.3)
Просуммировав первое уравнение по , с учетом второго уравнения получим:
Отсюда находим множитель Лагранжа
где - среднее значение случайной величины . Полученное значение вновь подставим в первое уравнение системы (8.5.3) и найдем
В прогнозных расчетах по уравнению регрессии определяется предсказываемое значение как точечный прогноз при , т. е. путем подстановки в уравнение регрессии соответствующего значения х. Однако точечный прогноз явно не реален. Поэтому он дополняется расчетом стандартной ошибки , т. е , и соответственно интервальной оценкой прогнозного значения (у*)
Чтобы понять, как строится формула для определения величин среднеквадратической ошибки , обратимся к уравнению линейной парной регрессии:
Известным образом найдем дисперсию модели парной линейной регрессии:
(3.29)
С учетом выражении (3.24) и (3.25) предварительно запишем:
После несложных преобразовании окончательно получим:
(3.30)
Отсюда перейдем среднеквадратической ошибке модели парной линейной регрессии:
Рассмотренная формула среднеквадратическая ошибки предсказываемого среднего значения y при заданном значении характеризует ошибку положения линии регрессии. Величина стандартной ошибки , как видно из формулы, достигает минимума при , и возрастает по мере того, как «удаляется» от в любом направлении. Иными словами, чем больше разность между и x , тем больше ошибка с которой предсказывается среднее значение y для заданного значения . Можно ожидать наилучшие результаты прогноза, если признак-фактор х находится в центре области наблюдений х и нельзя ожидать хороших результатов прогноза при удалении от . Если же значение оказывается за пределами наблюдаемых значений х, используемых при построении линейной регрессии, то результаты прогноза ухудшаются в зависимости от того, насколько отклоняется от области наблюдаемых значений фактора x .
Для нашего примера составит:
Для прогнозируемого значения 95%-ные доверительные интервалы при заданном определяются выражением
Для вероятности 95% тогда26,04.
При , прогнозное значениеy составит:
которое представляет собой точечный прогноз.
Прогноз линии регрессии в интервале составит:
Однако фактические значения у варьируют около среднего значения . Индивидуальные значенияу могут отклоняться от на величину случайной ошибки , дисперсия которой оценивается как остаточная дисперсия на одну степень свободы. Поэтому предсказываемого индивидуального значения y должна включать не только стандартную ошибку, но и случайную ошибкуS .
Средняя ошибка прогнозируемого индивидуального значения y составит:
По данным рассматриваемого примера получим:
Доверительные интервалы прогноза индивидуальных значений y при с вероятностью 0,95 составят:, или 141,57, это означает, что.
Интервал достаточно широк, прежде всего, за счет малого объема наблюдений.
При прогнозировании на основе уравнения регрессии следует помнить, что величина прогноза зависит не только от стандартной ошибки индивидуального значения у, но и от точности прогноза значения фактора х. Его величина может задаваться на основе анализа других моделей исходя из конкретной ситуации, а также из анализа динамики данного фактора.
Рассмотренная формула средней ошибки индивидуального значения признака y может быть использована также для оценки существенности различия предсказываемого значения исходя из регрессионной модели и выдвинутой гипотезы развития событий.
Предположим, что в нашем примере с функцией издержек выдвигается предположение, что в предстоящем году в связи со стабилизацией экономики при выпуске продукции в 8 тыс. ед. затраты на производство не превысят 250 млн руб. Означает ли это действительно изменение найденной закономерности или же данная величина затрат соответствует регрессионной модели?
Чтобы ответить на этот вопрос, найдем точечный прогноз при х = 8, т. е.
Предполагаемое же значение затрат, исходя из экономической ситуации, - 250,0. Для оценки существенности различия этих величин определим среднюю ошибку прогнозируемого индивидуального значения:
Сравним ее с величиной предполагаемого снижения издержек производства, т. е. :
Поскольку оценивается значимость только уменьшения затрат, то используется односторонний критерий Стьюдента. При ошибке в 5 % с пятью степенями свободы. Следовательно, предполагаемое уменьшение затрат значимо отличается от прогнозируемого по модели при 95 %-ном уровне доверия. Однако если увеличить вероятность до 99 %, при ошибке в 1 % фактическое значение критерия оказывается ниже табличного 3,365, и рассматриваемое различие в величине затрат статистически не значимо.
Оценка статистической значимости параметров регрессии проводится с помощью t-статистики Стьюдента и путем расчета доверительного интервала для каждого из показателей. Выдвигается гипотеза Н 0 о статистически значимом отличие показателей от 0 a = b = r = 0. Рассчитываются стандартные ошибки параметров a,b, r и фактическое значение t-критерия Стьюдента.
Определяется статистическая значимость параметров.
t a > T табл - параметр a статистически значим.
t b > T табл - параметр b статистически значим.
Находятся границы доверительных интервалов.
Анализ верхней и нижней границ доверительных интервалов приводит к выводу о том, что параметры a и b находясь в указанных границах не принимают нулевых значений, т.е. не является статистически незначимыми и существенно отличается от 0. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. - М.: Дело, 2001. - С. 45.
Нелинейная регрессия
Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций: например, равносторонней гиперболы, параболы второй степени и д.р.
Различают два класса нелинейных регрессий:
- - регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам;
- - регрессии, нелинейные по оцениваемым параметрам.
Примером нелинейной регрессии по включаемым в нее объясняющим переменным могут служить следующие функции:
полиномы разных степеней;
равносторонняя гипербола.
К нелинейным регрессиям по оцениваемым параметрам относятся функции:
степенная;
показательная;
экспоненциальная.
Нелинейная регрессия по включенным переменным не таит каких-либо сложностей в оценке ее параметров. Она определяется, как и в линейной регрессии, методом наименьших квадратов (МНК), ибо эти функции линейны по параметрам. Так, в параболе второй степени y=a 0 +a 1 x+a 2 x 2 +е заменяя переменные x=x 1 ,x 2 =x 2 , получим двухфакторное уравнение линейной регрессии: у=а 0 +а 1 х 1 +а 2 х 2 + е.
Парабола второй степени целесообразна к применению, если для определенного интервала значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую. В этом случае определяется значение фактора, при котором достигается максимальное (или минимальное), значение результативного признака: приравниваем к нулю первую производную параболы второй степени: , т.е. b+2cx=0 и x=-b/2c.
Применение МНК для оценки параметров параболы второй степени приводит к следующей системе нормальных уравнений:
Решение ее возможно методом определителей:
В моделях, нелинейных по оцениваемым параметрам, но приводимых к линейному виду, МНК применяется к преобразованным уравнениям. Если в линейной модели и моделях, нелинейных по переменным, при оценке параметров исходят из критерия min, то в моделях, нелинейных по оцениваемым параметрам, требование МНК применяется не к исходным данным результативного признака, а к их преобразованным величинам, т.е. ln y, 1/y. Так, в степенной функции МНК применяется к преобразованному уравнению lny = lnб + в ln x ln е. Это значит, что оценка параметров основывается на минимизации суммы квадратов отклонений в логарифмах. Соответственно если в линейных моделях то в моделях, нелинейных по оцениваемым параметрам, . Вследствие этого оценка параметров оказываются несколько смещенной.
Уравнение нелинейной регрессии, так же как и в линейной зависимости, дополняется показателем корреляции, а именно индексом корреляции (R):
Величина данного показателя находится в границах: 0 ? R ? 1, чем ближе к 1, тем теснее связь рассматриваемых признаков, тем более надежно найденное уравнение регрессии.
Индекс детерминации используется для проверки существенности в целом урпвнения нелинейной регрессии по F- критерию Фишера:
Данный способ расчета наиболее обоснован теоретически и дает самые точные результаты в практическом применении. Но дело осложняется рядом обстоятельств. Во-первых, качество большинства видов продукции, а, следовательно, и его уровень формируются чаще не одним, а несколькими свойствами, причем значимость их в формировании полезности различна. Встает сложная проблема определения их значимости. Во-вторых, полезность продукта находится чаще в нелинейной зависимости от значения свойств (частных качественных характеристик), а это означает непостоянство их значимости. Указанные сложности преодолимы, но не всегда.
Теснота связи между переменными величинами может иметь различные значения, если рассматривать ее с позиции характера зависимости (линейная, нелинейная). Если установлена слабая связь между переменными в линейной зависимости, то это совсем не означает, что такая связь должна быть в нелинейной зависимости. Показателем, характеризующим значимость факторов при различной форме связи, является корреляционное отношение. Оценка факторов по корреляционному отношению уже на этом этапе анализа позволяет предварительно уст0новить вид многофакторной связи, что служит хорошей предпосылкой при выборе конкретной модели исследуемого показателя.
В случае нелинейной зависимости линейный коэффициент корреляции теряет смысл, и для измерения тесноты связи применяют так называемое корреляционное отношение, известное также под названием «индекс корреляции»:
Для нахождения лучшей подстановки можно использовать визуальный метод, когда «на глаз» определяется вид нелинейной зависимости, связывающей результирующий параметр и независимый фактор, а можно выбор наилучшей замены осуществлять, используя коэффициент корреляции. Та подстановка, у которой коэффициент корреляции является максимальным, и является наилучшей. Ланге О. Введение в эконометрику. - М.: Прогресс, 1964. - С. 76.
