Эконометрика – наука, позволяющая исследовать закономерности в реальных данных. К концу курса мы научимся отвечать на два вопроса. Как одна переменная, y, зависит от другой переменной, x? Как спрогнозировать переменную y? Мы будем подробно изучать линейные регрессионные модели, рассмотрим наиболее частые отклонения от предпосылок классической линейной регрессии. Изучим базовые модели (логит и пробит) для качественных зависимых переменных. Наряду с теоретической основой мы будем работать с реальными данными, используя статистический пакет R. Необходимые знания: Теория вероятностей и математическая статистика. Линейная алгебра опционально.
5.2.5. Тесты на гетероскедастичность в R
Loading...
Do curso por National Research University Higher School of Economics
Эконометрика (Econometrics)
320 classificações
National Research University Higher School of Economics
320 classificações
Na lição
Гетероскедастичность
В древнерусском Разноразбросие :)
Conheça os instrutores
Boris DemeshevSenior Lecturer
Department of Applied Economics
Теперь перейдем
к формальным тестам на гетероскедастичность.
Начнем мы с теста Уайта или,
по-другому, другую версию называют, этого теста называют тест Бройша-Пагана.
Вот мы применим bptest к модели.
В чем состоит этот тест?
Помимо оценки основной регрессии оценивается вспомогательная регрессия,
где квадраты остатков ε с крышкой в квадрате проверяется их зависимость от тех
же объясняющих переменных, что и в исходной модели.
То есть, здесь была построена регрессия квадратов остатков ε с крышкой в квадрате
на те же объясняющие переменные, то есть на одну объясняющую переменную totsp,
и оказалось, что гипотеза о том, что зависимости во вспомогательной регрессии
нет, эта гипотеза отвергается в силу маленького p-value.
То есть, у нас имеет место гетероскедастичность,
так как гипотеза об условной гомоскедастичности была отвергнута.
Чтобы провести все-таки классический вариант теста Уайта,
где во вспомогательной регрессии включаются не только исходные регрессоры,
но и их квадраты, попарные произведения, надо это отдельно,
специально указать r в команде bptest, то есть надо взять данные из
набора данных h и во вспомогательную регрессию, здесь есть varformula,
то есть формула для вспомогательной регрессии, соответственно, здесь указать,
что нас интересует зависимость не только от исходного фактора общей площади,
но также от и исходной площади в квадрате.
И, соответственно, если я дам такую команду,
во вспомогательной регрессии окажется две объясняющих переменных, соответственно,
получится классическая формула статистики Уайта, и тут опять гипотеза о том,
что зависимости во вспомогательной регрессии нет, отвергается,
значит, имеет место условная гетероскедастичность.
И пару слов о синтаксисе.
Вот здесь я, когда писал формулу, написал какое-то I со скобками.
Это означает, что вот эту степень надо воспринимать r буквально,
а не как специальную команду внутри формулы.
У r вообще богатый синтаксис, например,
я мог тот же самый результат получить с помощью другого описания формулы.
Я, например, мог сказать,
что нужен полином второй степени со всеми коэффициентами от общей площади.
Я мог написать poly(totsp), указатель второй степени,
и эта команда имеет абсолютно точно такой же эффект, как предыдущая.
То есть, в качестве регрессоров берутся totsp в первой степени,
totsp во второй степени и константа.
Соответственно, результат выходит совершенно аналогичный.
И второй тест, который мы проведем – это тест Голдфелда-Квандта.
Соответственно, в чем, как устроен тест Голдфелда-Квандта?
Нам поможет команда gqtest.
Мы берем нашу модель и здесь для теста Голдфелда-Квандта уже
надо указать некую переменную, которая объясняет гетероскедастичность,
то есть от которой условная дисперсия ε i-того зависит монотонно.
Ну, мы предполагаем, что разброс цены связан с размером квартиры,
то есть мы предполагаем, что нам нужно будет сортировать
по переменной (нам нужна будет опция
order.by) сортировать по переменной totsp,
данные мы возьмем из набора данных h, и дальше надо указать,
какой процент наблюдений надо выкинуть посередине.
Автоматически gqtest в R, он возьмет верхнее наблюдение,
нижнее наблюдение, серединку выкинет.
Ну давайте, скажем, количество наблюдений по середине, долю, возьмем,
скажем, 20 % наблюдений посередине выкинем и проведем тест Голдфелда-Квандта.
Соответственно, тест Голдфелда-Квандта, он оценит две вспомогательные регрессии.
Поскольку я 20 % выкинул, значит,
у меня осталось 40 % наблюдений, где подозрительно большая дисперсия,
40 % наблюдений, где подозрительно маленькая дисперсия, и, соответственно,
R оценит две модели: одну, там, где дисперсия ожидается большой, другую, там,
где дисперсия ожидается маленькой, поделит RSS одной модели на RSS другой модели.
Вот у него получилось в результате 8,2 при делении RSS той части выборки,
где, предположительно, высокая дисперсия, на ту часть,
на RSS той части выборки, где предположительно низкая дисперсия.
И p-value оказалось снова очень маленьким, меньше чем 2,2 * 10 в минус 16.
Соответственно, вывод: гипотеза h0 об условной
гомоскедастичности также отвергается.
Что мы можем сделать,
какие меры помимо использования робастных стандартных ошибок мы можем применять?
Одним из частых преобразований является логарифмирование данных.
Если я посмотрю на исходный график,
где гомоскедастичности явно нет, и построю также зависимость цены
квартиры также от общей площади, но в логарифмах.
Я построю qplot, данные возьму из набора данных h,
но по горизонтали я отложу логарифм общей площади,
а по вертикали я отложу логарифм цены квартиры.
В этих осях у меня уже зависимость будет больше похожа на
зависимость условной гомоскедастичности, потому что вот, при логарифме, равном 5,
разброс примерно уже похож на разброс цен при логарифме, равном 4.
И если я оценю, скажем, модель 2, которая в точности
будет дублировать модель 1, точно так же данные берутся из набора данных h,
но зависеть будет логарифм цены от логарифма общей площади.
Если я оценю модель 2 и посмотрю на, скажем,
тот же тест Голдфелда-Квандта, только для модели 2.
Здесь я исправлю 2, а так команда совершенно аналогичная.
И, соответственно,
я дам команду на тест Голдфелда-Квандта, то, несмотря, конечно,
на то, что гетероскедастичность в этой преобразованной модели осталась,
она уже не так сильно выражена, как в прошлый раз,
потому что если посмотреть на статистику Голдфелда-Квандта,
то есть во сколько раз отличаются RSS в части выборки с предположительно
высокой дисперсией и в части выборки с предположительно низкой дисперсией,
то оказывается, сейчас они отличаются всего в 2,5 раза, в то время как,
когда мы делали модель без логарифмов,
соответствующие RSS отличались в 8 раз, то есть в какой-то мере
нам удалось немножко побороться с гетероскедастичностью помимо
использования робастных стандартных ошибок.
И я хочу еще раз обратить внимание на мой порядок действий: я
сначала использовал робастные стандартные ошибки, а потом, собственно,
выяснял, есть ли гетероскедастичность или нет.
К сожалению, очень распространена практика,
когда исследователь сначала проверяет гипотезу,
есть гетероскедастичность или нет, и, соответственно, узнав,
что гетероскедастичность есть, тогда используются робастные стандартные ошибки,
а если гетероскедастичности по тестам не обнаружено,
используются обычные стандартные ошибки.
Эта практика, к сожалению, неверная, потому что двойное тестирование всегда
приводит к неправильным рассчитываемым по умолчанию
уровням значимости, поэтому двойного тестирования следует избегать.
Как только у вас есть теоретические основания ожидать гетероскедастичность,
а у нас они есть, логично предположить, что разброс цены квартиры связан с ее
размером, то надо использовать робастные стандартные ошибки даже до, собственно,
тестирования гипотезы о том, есть гетероскедастичность или нет.
Explore nosso catálogo
Registre-se gratuitamente e obtenha recomendações, atualizações e ofertas personalizadas.
O Coursera proporciona acesso universal à melhor educação do mundo fazendo parcerias com as melhores universidades e organizações para oferecer cursos on-line.
© 2018 Coursera Inc. Todos os direitos reservados.
