Теперь перейдем к формальным тестам на гетероскедастичность. Начнем мы с теста Уайта или, по-другому, другую версию называют, этого теста называют тест Бройша-Пагана. Вот мы применим bptest к модели. В чем состоит этот тест? Помимо оценки основной регрессии оценивается вспомогательная регрессия, где квадраты остатков ε с крышкой в квадрате проверяется их зависимость от тех же объясняющих переменных, что и в исходной модели. То есть, здесь была построена регрессия квадратов остатков ε с крышкой в квадрате на те же объясняющие переменные, то есть на одну объясняющую переменную totsp, и оказалось, что гипотеза о том, что зависимости во вспомогательной регрессии нет, эта гипотеза отвергается в силу маленького p-value. То есть, у нас имеет место гетероскедастичность, так как гипотеза об условной гомоскедастичности была отвергнута. Чтобы провести все-таки классический вариант теста Уайта, где во вспомогательной регрессии включаются не только исходные регрессоры, но и их квадраты, попарные произведения, надо это отдельно, специально указать r в команде bptest, то есть надо взять данные из набора данных h и во вспомогательную регрессию, здесь есть varformula, то есть формула для вспомогательной регрессии, соответственно, здесь указать, что нас интересует зависимость не только от исходного фактора общей площади, но также от и исходной площади в квадрате. И, соответственно, если я дам такую команду, во вспомогательной регрессии окажется две объясняющих переменных, соответственно, получится классическая формула статистики Уайта, и тут опять гипотеза о том, что зависимости во вспомогательной регрессии нет, отвергается, значит, имеет место условная гетероскедастичность. И пару слов о синтаксисе. Вот здесь я, когда писал формулу, написал какое-то I со скобками. Это означает, что вот эту степень надо воспринимать r буквально, а не как специальную команду внутри формулы. У r вообще богатый синтаксис, например, я мог тот же самый результат получить с помощью другого описания формулы. Я, например, мог сказать, что нужен полином второй степени со всеми коэффициентами от общей площади. Я мог написать poly(totsp), указатель второй степени, и эта команда имеет абсолютно точно такой же эффект, как предыдущая. То есть, в качестве регрессоров берутся totsp в первой степени, totsp во второй степени и константа. Соответственно, результат выходит совершенно аналогичный. И второй тест, который мы проведем – это тест Голдфелда-Квандта. Соответственно, в чем, как устроен тест Голдфелда-Квандта? Нам поможет команда gqtest. Мы берем нашу модель и здесь для теста Голдфелда-Квандта уже надо указать некую переменную, которая объясняет гетероскедастичность, то есть от которой условная дисперсия ε i-того зависит монотонно. Ну, мы предполагаем, что разброс цены связан с размером квартиры, то есть мы предполагаем, что нам нужно будет сортировать по переменной (нам нужна будет опция order.by) сортировать по переменной totsp, данные мы возьмем из набора данных h, и дальше надо указать, какой процент наблюдений надо выкинуть посередине. Автоматически gqtest в R, он возьмет верхнее наблюдение, нижнее наблюдение, серединку выкинет. Ну давайте, скажем, количество наблюдений по середине, долю, возьмем, скажем, 20 % наблюдений посередине выкинем и проведем тест Голдфелда-Квандта. Соответственно, тест Голдфелда-Квандта, он оценит две вспомогательные регрессии. Поскольку я 20 % выкинул, значит, у меня осталось 40 % наблюдений, где подозрительно большая дисперсия, 40 % наблюдений, где подозрительно маленькая дисперсия, и, соответственно, R оценит две модели: одну, там, где дисперсия ожидается большой, другую, там, где дисперсия ожидается маленькой, поделит RSS одной модели на RSS другой модели. Вот у него получилось в результате 8,2 при делении RSS той части выборки, где, предположительно, высокая дисперсия, на ту часть, на RSS той части выборки, где предположительно низкая дисперсия. И p-value оказалось снова очень маленьким, меньше чем 2,2 * 10 в минус 16. Соответственно, вывод: гипотеза h0 об условной гомоскедастичности также отвергается. Что мы можем сделать, какие меры помимо использования робастных стандартных ошибок мы можем применять? Одним из частых преобразований является логарифмирование данных. Если я посмотрю на исходный график, где гомоскедастичности явно нет, и построю также зависимость цены квартиры также от общей площади, но в логарифмах. Я построю qplot, данные возьму из набора данных h, но по горизонтали я отложу логарифм общей площади, а по вертикали я отложу логарифм цены квартиры. В этих осях у меня уже зависимость будет больше похожа на зависимость условной гомоскедастичности, потому что вот, при логарифме, равном 5, разброс примерно уже похож на разброс цен при логарифме, равном 4. И если я оценю, скажем, модель 2, которая в точности будет дублировать модель 1, точно так же данные берутся из набора данных h, но зависеть будет логарифм цены от логарифма общей площади. Если я оценю модель 2 и посмотрю на, скажем, тот же тест Голдфелда-Квандта, только для модели 2. Здесь я исправлю 2, а так команда совершенно аналогичная. И, соответственно, я дам команду на тест Голдфелда-Квандта, то, несмотря, конечно, на то, что гетероскедастичность в этой преобразованной модели осталась, она уже не так сильно выражена, как в прошлый раз, потому что если посмотреть на статистику Голдфелда-Квандта, то есть во сколько раз отличаются RSS в части выборки с предположительно высокой дисперсией и в части выборки с предположительно низкой дисперсией, то оказывается, сейчас они отличаются всего в 2,5 раза, в то время как, когда мы делали модель без логарифмов, соответствующие RSS отличались в 8 раз, то есть в какой-то мере нам удалось немножко побороться с гетероскедастичностью помимо использования робастных стандартных ошибок. И я хочу еще раз обратить внимание на мой порядок действий: я сначала использовал робастные стандартные ошибки, а потом, собственно, выяснял, есть ли гетероскедастичность или нет. К сожалению, очень распространена практика, когда исследователь сначала проверяет гипотезу, есть гетероскедастичность или нет, и, соответственно, узнав, что гетероскедастичность есть, тогда используются робастные стандартные ошибки, а если гетероскедастичности по тестам не обнаружено, используются обычные стандартные ошибки. Эта практика, к сожалению, неверная, потому что двойное тестирование всегда приводит к неправильным рассчитываемым по умолчанию уровням значимости, поэтому двойного тестирования следует избегать. Как только у вас есть теоретические основания ожидать гетероскедастичность, а у нас они есть, логично предположить, что разброс цены квартиры связан с ее размером, то надо использовать робастные стандартные ошибки даже до, собственно, тестирования гипотезы о том, есть гетероскедастичность или нет.
