Рассматриваем уравнение регрессии вида:
где k - число независимых переменных модели регрессии.
Для каждого момента времени t = 1: n значение определяется по формуле
Изучая последовательность остатков как временной ряд в , можно построить график их зависимости от времени. В соответствии с предпосылками метода наименьших квадратов остатки должны быть случайными (а). Однако при моделировании временных рядов иногда встречается ситуация, когда остатки содержат тенденцию (б и в) или циклические колебания (г). Это говорит о том, что каждое следующее значение остатков зависит от предыдущих. В этом случае имеется автокорреляция остатков.
.jpg)
Причины автокорреляции остатков
Автокорреляция остатков может возникать по несколькими причинами:
Во-первых, иногда автокорреляция связана с исходными данными и вызвана наличием ошибок измерения в значениях Y.
Во-вторых, иногда причину следует искать в формулировке модели. В модель может быть не включен фактор, оказывающий существенное воздействие на результат, но влияние которого отражается в остатках, вследствие чего последние могут оказаться автокоррелированными . Зачастую этим фактором является фактор времени t.
Иногда, в качестве существенных факторов могут выступать лаговые значения переменных , включенных в модель. Либо в модели не учтено несколько второстепенных факторов, совместное влияние которых на результат существенно ввиду совпадения тенденций их изменения или циклических колебаний.
Методы определения автокорреляции остатков
Первый метод - это построение графика зависимостей остатков от времени и визуальное определение наличия автокорреляции остатков.
Второй метод — расчет критерия Дарбина — Уотсона
Т.е. Критерий Дарбина — Уотсона определяется как отношение суммы квадратов разностей последовательных значений остатков к сумме квадратов остатков. Практически во всех задачах по эконометрике значение критерия Дарбина - Уотсона указывается наряду с коэффициентом корреляции, значениями критериев Фишера и Стьюдента
Коэффициент автокорреляции первого порядка определяется по формуле
Соотношение между критерием Дарбина - Уотсона и коэффициентом автокорреляции остатков (r1) первого порядка определяется зависимостью
Т.е. если в остатках существует полная положительная автокорреляция r1 = 1, а d = 0, Если в остатках полная отрицательная автокорреляция, то r1 = - 1, d = 4. Если автокорреляция остатков отсутствует, то r1 = 0, d = 2. Следовательно,
Алгоритм выявления автокорреляции остатков по критерию Дарбина - Уотсона
Выдвигается гипотеза об отсутствии автокорреляции остатков . Альтернативные гипотеэы о наличии положительной или отрицательной автокорреляции в остатках. Затем по таблицам определяются критические значения критерия Дарбина - Уотсона dL и du для заданного числа наблюдений и числа независимых переменных модели при уровня значимости а (обычно 0,95). По этим значениям промежуток разбивают на пять отрезков.
Если расчетное значение критерия Дарбина — Уотсона попадает в зону неопределенности , то подтверждается существование автокорреляции остатков и гипотезу отклоняют
Проверка адекватности трендовых моделей реальному процессу строится на основе анализа случайной компоненты. В расчетах случайная компонента заменяется остатками, представляющими собой разность фактических и расчетных значений
При правильном выборе тренда отклонения от него будут носить случайный характер. В случае если вид функции выбран неудачно, то последовательные значения остатков могут не обладать свойством независимости, т.е. они могут коррелировать между собой. В этом случае говорят, что имеет место автокорреляция ошибок.
Существует несколько приемов обнаружения автокорреляции. Наиболее распространенным является критерий Дарбина – Уотсона. Этот критерий связан с гипотезой о существовании автокорреляции первого порядка. Его значения определяются по формуле
. (2.29)
Для понимания смысла этой формулы преобразуем ее, сделав предварительное допущение, положив 
. Непосредственное преобразование формулы осуществляется следующим образом:
.
При достаточно большом сумма из слагаемых значительно превосходит сумму из двух слагаемых и поэтому отношением этих величин можно пренебречь. Кроме того, отношение в квадратных скобках в силу того, что , можно считать коэффициентном корреляции между и . Таким образом, критерий Дарбина – Уотсона записывается в виде
. (2.30)
Полученное представление критерия позволяет сделать вывод, что статистика Дарбина – Уотсона связывает с выборочным коэффициентом корреляции . Таким образом, и значение критерия может указывать на наличие или отсутствие автокорреляции в остатках. Причем, если , то . Если (положительная автокорреляция), то ; если (отрицательная автокорреляция), то .
Статистически значимая уверенность в наличии или отсутствии автокорреляции определяется с помощью таблицы критических точек распределения Дарбина – Уотсона. Таблица позволяет по заданному уровню значимости , числу наблюдений и количеству переменных в модели определить два значения: – нижняя граница и – верхняя граница.
Таким образом, алгоритм проверки автокоррелированности остатков по критерию Дарбина – Уотсона следующий:
1) Построение трендовой зависимости с помощью обычного МНК
2) Вычисление остатков
для каждого наблюдения (
);
хорошо иллюстрируется графической схемой на рис. 3.1.
|
Рис. 2.1. Графическая схема проверки автокоррелированности остатков
Критерий Дарбина-Уотсона (или статистика DW).
Это наиболее известный критерий обнаружения автокорреляции первого порядка. Статистика Дарбина - Уотсона приводится во всех специальных компьютерных программах как одна из важнейших характеристик качества регрессионной модели.
Сначала по построенному эмпирическому уравнению регрессии
определяются значения отклонений Рассчитывается
статистика
0 положительная автокорреляция;
d t зона неопределенности;
d u - d u - автокорреляция отсутствует;
- 4 - d u
- 4 - d/ отрицательная автокорреляция.
Можно показать, что статистика (2.64) тесно связана с коэффициентом автокорреляции первого порядка:
Связь выражается формулой:
Отсюда вытекает смысл статистического анализа автокорреляции. Поскольку значения г изменяются от -1 до + 1, DW изменяется от 0 до 4. Когда автокорреляция отсутствует, коэффициент автокорреляции равен нулю, и статистика DW равна 2. Статистика DW, равная 0, соответствует положительной автокорреляции, когда выражение в скобках равно нулю (г= +1). При отрицательной автокорреляции (г= - 1), DW= 4 и выражение в скобках равно двум.
Ограничения критерия Дарбина - Уотсона следующие.
- 1. Статистика DW применяется лишь для тех моделей, которые содержат свободный член.
- 2. Предполагается, что случайные отклонения определяются по итерационной схеме
- 3. Статистические данные должны иметь одинаковую периодичность (не должно быть пропусков в наблюдениях).
- 4. Критерий Дарбина - Уотсона неприменим к авторегрессионным моделям вида
Для моделей (2.66) предлагается /г-статистика Дарбина:
где р - оценка р первого порядка (2.65);
D(c) - выборочная дисперсия коэффициента при лаговой переменной у, _ ь п - число наблюдений.
При большом п
и справедливости нуль-гипотезы Н 0:
р = 0 И-
статистика имеет стандартное распределение h ~ N{
0, 1). Поэтому при заданном уровне значимости определяется критическая точка из условия:
и Л-статистика сравнивается с иар.. Если И > иа/ 2 , то нуль-гипотеза об отсутствии автокорреляции должна быть отклонена. В противном случае она не отклоняется.
Обычно значение р рассчитывается в первом приближении по формуле р&1- DIV /2, a D(c) равна квадрату стандартной ошибки т с оценки коэффициента с. Следует отметить, что вычисление /г-статистики невозможно при nD(c) > 1.
Автокорреляция чаще всего вызывается неправильной спецификацией модели. Поэтому следует попытаться скорректировать саму модель, в частности ввести какой-нибудь неучтенный фактор или изменить форму модели, например, с линейной на полулогарифмическую или гиперболическую. Если все эти способы не помогают и автокорреляция вызвана какими-то внутренними свойствами ряда {е,}, можно воспользоваться преобразованием, которое называется авторегрессионной схемой первого порядка AR{ 1).
Рассмотрим /Щ1) на примере парной регрессии:
Тогда соседним наблюдениям согласно (2.68) соответствуют формулы:
Если случайные отклонения определяются выражением (2.65), где коэффициент р известен, то преобразования формул (2.69) и (2.70) дает:
Сделаем в (2.71) замены переменных: получим с учетом выражения (2.65):
Поскольку случайные отклонения у, удовлетворяют предпосылкам МНК, оценки а и b уравнения (2.73) будут обладать свойствами наилучших линейных несмещенных оценок. По преобразованным значениям всех переменных с помощью обычного МНК вычисляются оценки параметров а и Ь, которые затем можно использовать в регрессии (2.68).
Однако способ вычисления преобразованных переменных (2.72) приводит к потере первого наблюдения, если нет информации о предшествующих наблюдениях. Это уменьшает на единицу число степеней свободы, что при больших выборках не очень существенно, однако при малых выборках приводит к потере эффективности. Тогда первое наблюдение восстанавливается с помощью поправки Прайса- Уинстена:
Для преобразования /Щ1), а также при введении поправок (2.74) важно оценить коэффициент авторегрессии р. Это делается несколькими способами. Самое простое - оценить р на основе статистики
где г берется в качестве оценки р.
Формула (2.75) хорошо работает при большом числе наблюдений.
Существуют и другие методы оценивания р: метод Кокрена- Оркатта и метод Хилдрета-Лу. Рассмотрим метод Кокрена-Оркатта пошагово:
- 1. Сначала к непреобразованным исходным данным применяется обычный МНК, для которого рассчитываются остатки.
- 2. Затем в качестве приближенного значения коэффициента авторегрессии р берется его МНК-оценка в регрессии (2.65).
- 3. Проводится преобразование исходных переменных по формулам (2.72), и к преобразованным данным применяется МНК для определения новых оценок параметров а и Ь.
- 4. Процедура повторяется, начиная с п. 2.
Процесс обычно заканчивается, когда очередное приближение р мало отличается от предыдущего. Иногда просто фиксируется количество итераций. Такая процедура реализована в большинстве эконометрических компьютерных программ.
где Ду, = у, - у 1, Дх, = х, - х,_ 1 - так называемые первые разности (назад).
Из уравнения (2.76) по МНК оценивается коэффициент Ь. Параметр а здесь не определяется непосредственно, однако из МНК известно, что а = у -Ьх.
В случае р = -1, сложив (2.69) и (2.70) с учетом (2.65), получаем уравнение регрессии.
Статистическая значимость коэффициентов регрессии и близкое к единице значение коэффициента детерминации R 2 не гарантируют высокое качество уравнения регрессии. Для иллюстрации этого факта весьма нагляден пример, в котором анализируется зависимость реального объема потребления CONS (млрд. $, в ценах 1982 года) от численности населения POP (млн. чел.) в США в 1931-1990 годах. Корреляционное поле статистических данных изображено на рис1.
Рис.1. Корреляционное поле статистических данных
Линейное уравнение регрессии, построенное по МНК по реальным статистическим данным, имеет вид: СONS =-1817,3 + 16,7РОР. Стандартные ошибки коэффициентов S b 0 = 84,7, S b 1 =0,46. Следовательно, их t-статистики t b 0 =-21,4 , t b 1 =36,8. Эти значения существенно превышают 3, что свидетельствует о статистической значимости коэффициентов. Коэффициент детерминации R 2 = 0,96 (т.е. уравнение «объясняет» 96% дисперсии объема потребления). Однако по расположению точек на корреляционном поле видно, что зависимость между POP и CONS не является линейной, а будет скорее экспоненциальной. Для качественного прогноза уровня потребления линейная функция, безусловно, не может быть использована. Таким образом, при весьма хороших значениях t-статистик и F-статистики предложенное уравнение регрессии не может быть признано удовлетворительным (отметим, что R =0,96, скорее всего, в силу того, что и CONS и POP имели временной тренд). Можно ли определить причину этого?
Нетрудно заметить, что в данном случае не выполняются необходимые предпосылки МНК об отклонениях e i точек наблюдений от линии регрессии. Эти отклонения явно не обладают постоянной дисперсией и не являются взаимно независимыми. Нарушение необходимых предпосылок делает неточными полученные оценки коэффициентов регрессии, увеличивая их стандартные ошибки, и обычно свидетельствует о неверной спецификации самого уравнения.
Поэтому следующим этапом проверки качества уравнения регрессии является проверка выполнимости предпосылок МНК.
Оценивая линейное уравнение регрессии, мы предполагаем, что реальная взаимосвязь переменных линейна, а отклонения от регрессионной прямой являются случайными, независимыми друг от друга величинами с нулевым математическим ожиданием и постоянной дисперсией. Если эти предположения не выполняются, то оценки коэффициентов регрессии не обладают свойствами несмещенности, эффективности и состоятельности, и анализ их значимости будет неточным.
Причинами, по которым отклонения не обладают перечисленными выше свойствами, могут быть либо нелинейный характер зависимости между рассматриваемыми переменными, либо наличие не учтенного в уравнении существенного фактора. Действительно, при нелинейной зависимости между переменными отклонения от прямой регрессии не случайно распределены вокруг нее, а обладают определенными закономерностями, которые зачастую выражаются в существенном преобладании числа пар соседних отклонений e i-1 и e i с совпадающими знаками над числом пар с противоположными знаками.
При статистическом анализе уравнения регрессии на начальном этапе часто проверяют выполнимость одной предпосылки, а именно: условия статистической независимости отклонений между собой. Поскольку значения e i теоретического уравнения регрессии Y=β 0 +β 1 x+e остаются неизвестными ввиду неопределенности истинных значений коэффициентов регрессии, то проверяется статистическая независимость их оценок - отклонений e i , i=1,2,...,n. При этом обычно проверяется их некоррелированность, являющаяся необходимым, но недостаточным условием независимости. Причем проверяется некоррелированность не любых, а только соседних величин e i . Соседними обычно считаются соседние во времени (при рассмотрении временных рядов) или по возрастанию объясняющей переменной X (в случае перекрестной выборки) значения е i
На практике для анализа коррелированности отклонений вместо коэффициента корреляции используют тесно с ним связанную статистику Дарбина- Уотсона DW, рассчитываемую по формуле:
Если e i = е i-1 , то r ei . e-1 =1 и DW = 0. Если е i =-е i-1 ; , то r ei . e-1 =-1 и DW = 4. Во всех других случаях 0 < DW < 4 .
К этому же результату можно подойти с другой стороны. Если каждое следующее отклонение e i приблизительно равно предыдущему, e i -1 , то каждое слагаемое (e 1 -e i -1) в числителе дроби близко к нулю. Тогда, очевидно, числитель дроби будет существенно меньше знаменателя и, следовательно, статистика DW окажется близкой к нулю.
Например, для зависимости CONS и POP (рис. 1) DW = 0,045, что очень близко к нулю и подтверждает наличие положительной автокорреляции остатков первого порядка (линейной зависимости между остатками).
В другом крайнем случае, когда точки наблюдений поочередно отклоняются в разные стороны от линии регрессии, случай отрицательной автокорреляции остатков первого порядка. При случайном поведении отклонений можно предположить, что в одной половине случаев знаки последовательных отклонений совпадают, а в другой - противоположны. Так как абсолютная величина отклонений в среднем предполагается одинаковой, то можно считать, что в половине случаев e i = е i-1 , а в другой е i =-е i-1 . Тогда DW =2
Таким образом, необходимым условием независимости случайных отклонений является близость к двойке значения статистики Дарбина-Уотсона. Это означает, что построенная линейная регрессия, вероятно, отражает реальную зависимость.
Возникает вопрос, какие значения DW можно считать статистически близкими к двум?
Для ответа на этот вопрос разработаны специальные таблицы критических точек статистики Дарбина-Уотсона, позволяющие при данном числе наблюдений n, количестве объясняющих переменных m и заданном уровне значимости α определять границы приемлемости (критические точки) наблюдаемой статистики DW. Для заданных α,n,m в таблице указываются два числа: d l - нижняя граница и d u - верхняя граница. Для проверки гипотезы об отсутствии автокорреляции остатков используется числовой отрезок, изображенный на рис. 2.
Рис.2. Числовой отрезок.
Выводы осуществляются по следующей схеме.
- Если DW
- Если DW>4-d l , то это свидетельствует об отрицательной автокорреляции остатков.
- При d u
- Если d l
Не обращаясь к таблице критических точек Дарбина-Уотсона, можно пользоваться «грубым» правилом и считать, что автокорреляция остатков отсутствует, если 1,5 При наличии автокорреляции остатков полученное уравнение регрессии обычно считается неудовлетворительным. Пример. Анализируется объем S сбережений домохозяйства за 10 лет. Предполагается, что его размер St в текущем году t зависит от величины y t -\ располагаемого дохода Y в предыдущем году и от величины Zt реальной процентной ставки Z в рассматриваемом году. Статистические данные представлены в таблице: Необходимо: а) по МНК оценить коэффициенты линейной регрессии S =β 0 +β 1 Y+β 2 Z; б) оценить статистическую значимость найденных эмпирических коэффициентов регрессии b 0 , b 1 , b 2 ; в) построить 95% -е доверительные интервалы для найденных коэффициентов; г) вычислить коэффициент детерминации R 2 и оценить его статистическую значимость при α = 0,05; д) определить, какой процент разброса зависимой переменной объясняется данной регрессией (значимость R 2 по Фишеру); е) вычислить статистику DW Дарбина-У отсона и оценить наличие автокорреляции; ж) сделать выводы по качеству построенной модели; з) спрогнозировать средний объем сбережений в 1991 году, если предполагаемый доход составит 270 тыс. у.е., а процентная ставка будет равна 5,5. Расчет коэффициентов проводится по формулам: b 0 = 5,9619423; b 1 = 0,126189; b 2 = 3,24841/ Проанализируем статистическую значимость коэффициентов регрессии, предварительно рассчитав их стандартные ошибки. Стандартная ошибка регрессии S=1,7407. Следовательно, дисперсии и стандартные ошибки коэффициентов равны: S b 0 = 1,8929; S b 1 = 0,0212; S b 2 = 1,0146. Рассчитаем соответствующие t-статистики: t b 0 = 1,565; t b 1 = 5,858; t b 2 = 3,503. На первый взгляд (используя «грубое» правило), только статистическая значимость свободного члена вызывает сомнения. Два других коэффициента имеют t-статистики, превышающие тройку, что является признаком их высокой статистической значимости. Однако убедимся в таком выводе на основе более детального анализа. Для использования таблиц критических точек необходимо выбрать требуемый уровень значимости. Обычно это прерогатива исследователя. Вопросы для повторения
1. Какая существует связь между линейным коэффициентом корреляции и коэффициентом регрессии? 2. Каким образом оценить точность полученной модели регрессии? 3. Какими критериями пользуются при оценке качества построенной регрессионной модели? 4. Как строятся доверительные интервалы для регрессионной модели? 5. Может ли регрессия нелинейная по параметрам быть приведена к линейному виду? 6. Как осуществляется прогноз показателей по регрессионной модели?
регрессии. Рассмотрим возможные методы определения автокорреляции.
Обычно проверяется некоррелированность отклонений et,t = 1, 2, ... , T, являющаяся необходимым, но недостаточным условием независимости. Причем проверяется некоррелированность соседних величин et. Соседними обычно считаются соседние во времени (при рассмотрении временных рядов) или по возрастанию объясняющей переменной X (в случае перекрестной выборки) значения et. Для них несложно рассчитать коэффициент корреляции, называемый в этом случае коэффициентом автокорреляции первого порядка:
При этом учитывается, что математическое ожидание остатков M (et) = 0.
На практике для анализа коррелированности отклонений вместо коэффициента корреляции используют тесно связанную с ним
статистику Ларбина-Уотсона (DW) рассчитываемую по формуле1 
Очевидно, что при больших T 
Нетрудно заметить, что если et=et-1, то rete- 1=1 и DW=0 (положительная автокорреляция). Если et=-et-1, то re^t 1=-1 и DW=4 (отрицательная автокорреляция). Во всех других случаях 0 lt; DW lt; 4 . При случайном поведении отклонений rete- 1=0 и DW=2. Таким
образом, необходимым условием независимости случайных отклонений является близость к двойке значения статистики Дарбина- Уотсона. Тогда, если DW ~ 2, мы считаем отклонения от регрессии случайными (хотя они в действительности могут и не быть таковыми). Это означает, что построенная линейная регрессия, вероятно, отражает реальную зависимость. Скорее всего, не осталось неучтенных существенных факторов, влияющих на зависимую переменную. Какая-либо другая нелинейная формула не превосходит по статистическим характеристикам предложенную линейную модель. В этом случае, даже когда R2 невелико, вполне вероятно, что необъясненная дисперсия вызвана влиянием на зависимую переменную большого числа различных факторов, индивидуально слабо влияющих на исследуемую переменную, и может быть описана как случайная нормальная ошибка.
Возникает вопрос, какие значения DW можно считать статистически близкими к 2? Для ответа на этот вопрос разработаны специальные таблицы критических точек статистики Дарбина-Уотсона, позволяющие при данном числе наблюдений T (или в прежних обозначениях n), количестве объясняющих переменных m и заданном уровне значимости а определять границы приемлемости (критические точки) наблюдаемой статистики DW. Для заданных а,Т, m в таблице указываются два числа: di - нижняя граница и du - верхняя граница.
Общая схема критерия Дарбина-Уотсона следующая:
определяются значения отклонений et = У, - У, для каждого наблюдения t, t = 1,..., Т.
(0 lt; DW lt; di) - существует положительная автокорреляция,
(dі lt; DW lt; du) - вывод о наличии автокорреляции не определен, (ku lt; DW lt; 4 - du) - автокорреляция отсутствует, (4 - du lt; DW lt; 4 - di) - вывод о наличии автокорреляции не определен,
(4 - di lt; DW lt; 4) - существует отрицательная автокорреляция.
Не обращаясь к таблице критических точек Дарбина-Уотсона, можно пользоваться «грубым» правилом и считать, что автокорреляция остатков отсутствует, если 1,5lt; DW lt; 2,5. Для более надежного вывода целесообразно обращаться к табличным значениям. При наличии автокорреляции остатков полученное уравнение регрессии обычно считается неудовлетворительным.
Отметим, что при использовании критерия Дарбина-Уотсона необходимо учитывать следующие ограничения:
В этом случае имеется систематическая связь между одной из объясняющих переменных и одним из компонентов случайного члена. Не выполняется одна из основных предпосылок МНК - объясняющие переменные не должны быть случайными (не иметь случайной составляющей). Значение любой объясняющей переменной должно быть экзогенным (заданным вне модели), полностью определенным. В противном случае оценки будут смещенными даже при больших объемах выборок.
Для авторегрессионных моделей разработаны специальные тесты обнаружения автокорреляции, в частности h-статистика Дарби- на, которая определяется по формуле:
где р - оценка коэффициента р авторегрессии первого порядка?t = PCt-1 + vt (vt - случайный член), D(g) - выборочная дисперсия коэффициента Y при лаговой переменной yt-1, п - число наблюдений.
При большом объеме выборки h распределяется как ф(0,1), т. е. как нормальная переменная со средним значением 0 и дисперсией, равной 1 по нулевой гипотезе отсутствия автокорреляции. Следовательно, гипотеза отсутствия автокорреляции может быть отклонена при уровне значимости 5%, если абсолютное значение h больше, чем 1,96, и при уровне значимости 1%, если оно больше, чем 2,58, при применении двухстороннего критерия и большой выборке. В противном случае она не отклоняется.
Отметим, что обычно значение р рассчитывается по формуле:
р = 1- 0,5DW, а D(g) равна квадрату стандартной ошибки Sg
оценки g коэффициента Y. Поэтому h легко вычисляется на основе данных оцененной регрессии.
Основная проблема при использовании этого теста заключается в невозможности вычисления h при nD (g) gt; 1.
Пример 4.1. Пусть имеются следующие условные данные (X - объясняющая переменная, Y - зависимая переменная, табл. 4.1).
Таблица 4.1
Исходные данные (условные, ден. ед.)
t
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
X
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Y
3
8
6
12
11
17
15
20
16
24
22
28
26
34
31
Линейное уравнение регрессии имеет вид: Y = 2,09 + 2,014X .
Рассчитаем статистику Дарбина-Уотсона (табл. 4.2):
