В этом видео мы обсудим еще одну используемую при множественной проверке гипотез меру числа ошибок первого рода, а также способ ее контролировать. Напомню, что при множественной проверке гипотез мы имеем дело вот с такой таблицей два на два, в которой больше всего нас волнует величина V (число ошибок первого рода). Если мы работаем с групповой вероятностью ошибки — familywise error rate, мы ограничиваем вероятность того, что мы совершаем хотя бы одну ошибку первого рода. В некоторых ситуациях, например, когда проверяются десятки тысяч или миллионы гипотез, мы готовы допустить какое-то количество ошибок первого рода просто ради того, чтобы увеличить мощность процедуры и отвергнуть больше неверных гипотез, совершить меньше ошибок второго рода. В таких ситуациях выгоднее оказывается использовать другую меру: не familywise error rate, а false discovery rate — ожидаемую долю ложных отклонений, просто математическое ожидание отношения V (количества ошибок первого рода) к R (количеству отклоняемых гипотез). Для любой фиксированной процедуры множественной проверки гипотез false discovery rate всегда не больше, чем familywise error rate. За счет этого, если мы контролируем false discovery rate, а не familywise error rate, мы получаем более мощную процедуру, поскольку она позволяет отвергать больше гипотез. Методы, которые контролируют false discovery rate, как правило, восходящие. В каком-то смысле это противоположность нисходящих методов типа метода Холма, который мы рассматривали до этого. Восходящие методы работают с тем же самым вариационным рядом достигаемых уровней значимости, что и нисходящие, но идут по этому ряду с другого конца. На первом шаге мы берем самый большой p-value — pm и сравниваем его со своей константой αm. Если pm ≤ αm, то все нулевые гипотезы от 1-й до m-й отвергаются, и процедура останавливается. Иначе мы принимаем самую последнюю гипотезу Hm и продолжаем. На следующем шаге мы сравниваем p(m − 1 ) и αm − 1. Если p < α, то все нулевые гипотезы с 1-й до (m-1)-й отвергаются и мы останавливаемся, иначе мы принимаем Hm − 1, и процедура продолжается. И так далее. Если для одних и тех же α1, ..., αm мы построим восходящую и нисходящую процедуру, мы увидим, что восходящая процедура всегда будет отвергать не меньше гипотез, чем нисходящая. Вот на нашем модельном примере с девятью гипотезами точечками обозначены достигаемые уровни значимости, а прямой — порог, с которыми мы их сравниваем, α фактически. Если мы используем процедуру восходящую, мы движемся от самого большого p-value в сторону самого маленького и принимаем девятую, восьмую и седьмую гипотезы, и таким образом отвергаем первые шесть. Если мы используем процедуру нисходящую, мы, наоборот, начинаем с самого маленького p-value и отвергаем первые две гипотезы, принимаем оставшиеся семь. Таким образом, в нашем примере восходящая процедура отвергла в три раза больше гипотез. Это может просходить из-за того, что линия, соединяющая отсортированные достигаемые уровни значимости, может пересекать линию, задающую критические значения α, несколько раз. Для контроля над false discovery rate чаще всего используется метод Бенджамини-Хохберга. Это восходящая процедура с уровнями значимости α1 = α / m, αm = α. Крайние уровни значимости точно также же, как и в методе Холма, а вот то, что происходит между краями, совершенно другое. Уровни значимости между α1 и αm в методе Бенджамини-Хохберга меняются линейно, в то время как в методе Холма — по гиперболе. Вот так выглядят модифицированные достигаемые уровни значимости для метода Бенджамини-Хохберга. Поскольку процедура восходящая, для того чтобы убедиться, что каждый следующий p-value в нашей процедуре не стал больше, чем предыдущий, мы берем минимум от (pi * m) / i и p(i + 1) модифицированного. Метод Бенджамини-Хохберга обеспечивает контроль над false discovery rate на уровне α, но не всегда, а только при условии, что проверяющие гипотезы статистики независимы. Это требование достаточно сильное. Иногда его можно ослабить, и в некоторых задачах выполняется это ослабленное требование, но тем не менее, важно подчеркнуть, что процедура Бенджамини-Хохберга не является универсальной, она не применима безусловно, в отличие от того же метода Холма. Давайте вернемся к нашему модельному эксперименту из предыдущих видео. Вот отсортированные достигаемые уровни значимости, которые мы получили на наших модельных данных, а вот модифицированные достигаемые уровни значимости, полученные методом Холма. Вот так выглядят модифицированные достигаемые уровни значимости метода Бенджамини-Хохберга. Они отличаются довольно сильно. Методом Холма мы отвергаем 26 неверных гипотез, не совершая при этом ни одной ошибки первого рода. Методом Бенджамини-Хохберга мы отвергаем 46 неверных гипотез, совершая при этом две ошибки первого рода. Две из 48 — это примерно 0,04. Это меньше, чем 0,05. В модельном эксперименте, напомню, выборки мы генерировали независимо, поэтому метод Бенджамини-Хохберга действительно применим. Итак, в этом видео мы узнали, что контролируя false discovery rate вместо familywise error rate, мы позволяем больше ошибок первого рода, но за счет этого можем критически увеличить количество неверных нулевых гипотез, которые мы отвергаем. Метод Бенджамини-Хохберга используется повсеместно, несмотря на то, что он работает далеко не всегда. Очень часто его применяют без проверки необходимого условия его корректности. Так делать не стоит. В следующем видео мы поговорим про анализ подгрупп.
