[ЗВУК] На прошлой неделе мы с вами поговорили о том, как устроена математическая статистика, и нарисовали её схему. Мы сказали, что на этой схеме есть довольно большое количество частностей, которые необходимо обсуждать более подробно. На этой неделе мы поговорим о хороших свойствах оценок θ с колпачком, которые статистик обычно хотел бы получить, а именно: мы обсудим несмещённость, состоятельность и эффективность. Начнём мы с несмещённости. Оценку называют несмещённой, если её математическое ожидание равно оцениваемому параметру. Если оценка оказалась смещена, то обычно выписывают её смещение как математическое ожидание от оценки минус истинное значение. Если говорить простым языком, чтобы интерпретировать свойство несмещённости — то, зачем оно нам необходимо — можно сказать, что у нас есть какая-то формула, с помощью которой мы оцениваем неизвестный параметр θ, и если мы регулярно пытаемся использовать эту формулу при каком-то фиксированном размере выборки, то в среднем мы не будем ошибаться, если мы её используем, потому что в среднем у нас будет получаться всегда истинное значение θ. Несмещённость можно попробовать изобразить графически. Обычно в английском языке используются два термина, когда говорят об оценках. Это термин estimator — в случае когда используют этот термин, говорят о конкретной формуле, по которой получают оценку, и термин estimate — когда используют этот термин, обычно говорят о конкретной, точечной оценке, полученной по какой-то выборке. Например, мы на предыдущей неделе с вами пытались строить оценки для математического ожидания с помощью средних, и мы говорили, что среднее X с чертой — это неплохая оценка для математического ожидания. И вот сама по себе формула X среднее — это estimator, то есть это то, с помощью чего мы можем получить конкретную estimate по конкретной выборке. И если мы попробуем изобразить в виде мишени саму по себе процедуру нашего оценивания, где центром мишени будет истинное значение параметров, в которые мы бы хотели попасть, а в качестве точек мы нарисуем конкретные выстрелы из наших выборок, то есть одна точка — это одна estimate, полученная с помощью какого-то estimator, то несмещённый estimator, несмещённая оценка, будет давать нам мишень, где мы в среднем попадаем нашими выстрелами, нашими точками, в центр этой мишени. Такую ситуацию можно увидеть на слайде для оценки 1. В ситуации, когда наш estimator — наша формула для оценивания — оказывается смещённой, то мы будем своими выстрелами стабильно попадать куда-то мимо центра мишени, мимо нашего истинного значения параметра, и такую ситуацию можно увидеть на слайде для оценки 2. Если рисовать несмещённость в терминах плотностей распределения, то можно тоже получить картинку, которую вы видите на слайде. Мы помним, что для каждой θ с колпачком у нас есть какое-то распределение, полученное с помощью какого-то союзника, например, с помощью центральной предельной теоремы, и если у нас математическое ожидание от θ с колпачком отличается от истины, то мы видим ту ситуацию, которая расположена на слайде: между истинным значением θ и между математическим ожиданием нашей оценки есть довольно большое расстояние смещения, и именно оно и называется bias, и мы пытаемся с ним бороться, для того чтобы получить на выходе оценку, обладающую свойством несмещённости. Второе свойство, которое статистик хотел бы иметь для своих оценок, называется состоятельностью. Оценка называется состоятельной, если она при большом количестве наблюдений, то есть при n, стремящемся к бесконечности, сходится по вероятности к истинному значению параметра. Если говорить простым языком, то это означает, что чем больше наблюдений у нас есть в распоряжении, тем ближе своим оценивателем, своим estimator, оказываемся к истине. Состоятельность тоже можно изобразить на мишенях. Будем рисовать свою мишень для каждого объёма выборки. Для объёма выборки 10 мы попадаем нашими выстрелами с каким-то разбросом в какую-то одну область мишени. Если мы выборку увеличим и попытаемся снова в нашу мишень из нашей оценки стрелять, то наши точки будут расположены на мишени более кучкообразно, и они станут ближе к центру мишени. Если мы увеличим выборку ещё сильнее, то точки скучкуются ещё сильнее и окажутся ещё ближе к центру мишени, и так далее. При большом количестве наблюдений мы будем получать выстрелы чётко в центр мишени с маленьким разбросом. И вот если для нашей оценки мы наблюдаем ровно такую ситуацию, то она в таком случае называется состоятельной. По аналогии можно нарисовать состоятельность в виде плотностей, опять же, использовав некоторого союзника. Наша плотность распределения оценки будет становиться всё уже и уже в зависимости от того, сколько наблюдений у нас в данных оказалось. Можно изобразить состоятельность в динамике. Здесь, на картинке, по оси X мы откладываем количество наблюдений, которое было нами сделано, а по оси Y мы откладываем то значение параметра, которое у нас по этому количеству наблюдений получилось. Голубая линия — это реальное значение параметра. Серые линии (их здесь изображено довольно большое количество) — это то, как ведут себя наши оценки в зависимости от различного объёма выборок; и здесь оценок изображено несколько. Видно, что чем больше наблюдений мы используем, тем ближе эти оценки оказываются к истинному значению. Разброс уменьшается, и мы видим, что наша оценка сходится к истинному значению параметра и оказывается состоятельной. На картинке чуть ниже изображена несостоятельная оценка. Наша оценка сходится куда-то, но явно не к истинному значению параметра. Понятное дело, что это не единственный пример несостоятельной оценки — наша оценка может и вовсе расходиться, а не сходиться к какому-то конкретному значению. Кроме несмещённости и состоятельности, статистики иногда хотят ещё и асимптотическую несмещённость. Она отличается от состоятельности тем, что здесь вместо точечной оценки θ с колпачком фигурирует её математическое ожидание. Свойство заключается в том, что математическое ожидание оценки при n, стремящемся к бесконечности — при объёме выборки, стремящемся к бесконечности, сходится к истинному значению параметра. Простым языком это свойство можно описать следующим образом: если у нас есть большая выборка, и мы постоянно используем асимптотически несмещённый estimator — асимптотически несмещённую оценку, то в среднем мы не будем ошибаться. От состоятельности это свойство отличается существенным образом. Если мы говорим про про оценку состоятельную и заодно ещё асимптотически несмещённую, то мы видим, что в динамике наши выстрелы по мишени постепенно сходятся к её центру, то есть к истинному значению параметра, и они становятся всё кучковатее, и дисперсия у них уменьшается. В общем, идёт сходимость к какой-то константе. В случае, если у нас состоятельности нет, а есть только асимптотическая несмещённость, то может возникать следующая ситуация. Представим себе, что наши оценки, наши выстрелы из estimator по мишеням выстраиваются в виде такой решётки, в виде квадрата. И чем больше наблюдений у нас в выборке оказывается, тем ближе этот квадрат сдвигается к центру мишени. Но он не кучкуется и не вырождается в какую-то точку одну, равную истинному параметру, он всегда остаётся одного и того же размера. И из-за того, что он покрывает центр в конечном итоге при больших объёмах выборки, наша оценка в пределе оказывается асимптотически несмещённой из-за того, что если мы по этому облаку, оказавшемуся в центре, найдём математическое ожидание, то мы получим в точности центр мишени, то есть истинное значение параметра. Но при этом ни о какой состоятельности здесь речи идти не может по той простой причине, что у нас в наших точках, в наших выстрелах всегда будет какой-то разброс, и к константе, к истинному значению, сходимости здесь нет. Эти два свойства нельзя между собой путать — они означают разное. Кроме несмещённости и состоятельности, статистики хотят обычно ещё и сравнивать разные оценки, полученные с помощью разных методов оценивания, с помощью разных estimator-ов, между собой. То есть, например, мы можем получить две разные оценки с помощью метода моментов. Одну оценку — с помощью первого момента, а другую оценку — с помощью второго момента. Эти две оценки между собой нам необходимо сравнить, если вдруг они обе оказались несмещённые и состоятельные. Обычно статистики хотят, чтобы выстрелы по мишени из estimator-ов были как можно более кучкообразны. Например, на слайде на первой мишени для оценки № 1 выстрелы обладают очень высоким разбросом. Такой большой разброс будет приводить к тому, что плотность для первой оценки будет очень пологой — она изображена на картинке чёрным цветом. И из-за того, что она очень пологая, когда мы захотим поставить засечки на этой плотности и построить для θ доверительный интервал, он окажется очень широким. В ситуации с оценкой 2 выстрелы идут более точно. Плотность распределения (фиолетовая) оказывается более узкой, и когда мы поставим засечки на ней для строительства доверительных интервалов, то доверительный интервал окажется на порядок уже. То есть если и первая оценка, и вторая оценка несмещённые и состоятельные, нам необходимо предпочесть вторую оценку по той причине, что для неё доверительные интервалы на выходе окажутся уже. Обычно оценки сравнивают между собой с помощью специальной функции потерь, которая называется MSE — среднее квадратичное отклонение. Она считается как математическое ожидание отклонения от θ с колпачком от истинного значения θ в квадрате. Если оценка θ с колпачком оказалась несмещённой, то MSE совпадает с дисперсией оценки θ с колпачком. Если мы хотим получить хорошую оценку, и она оказывается несмещённой и состоятельной для разных estimator-ов, то нам необходимо предпочесть ту оценку, которая будет предсказуемой с точки зрения функции потерь MSE, потому что для неё доверительные интервалы и наши выводы окажутся более точными. Подведём итоги. Статистик хочет получить несмещённую оценку. Он хочет не ошибаться в среднем, используя какой-то estimator — какую-то оценку. Обратите внимание, что несмещённость оценки — это свойство для конечных выборок. У нас здесь не идёт никакого движения n к бесконечности. Мы собираем выборку конкретного размера, используем для неё конкретный estimator и в среднем не ошибаемся, если наш estimator, наша оценка, оказалась несмещённой. Статистик хочет получить состоятельную оценку. Он хочет при большом объёме выборки — при n, стремящемся к бесконечности, быть близко к реальности, а не далеко от неё. Более того, статистик хочет получать на выходе оценку с маленькой среднеквадратической ошибкой, для того чтобы доверительные интервалы, которые он строит, отталкиваясь от этой оценки, получались более узкими. В этом видео мы с вами поговорили про то, что хочет статистик. В следующем видео мы с вами попробуем посмотреть на эти свойства — несмещённость, состоятельность и эффективность — на конкретных примерах с помощью симуляции в Python. [ЗВУК] [ЗВУК]
