[БЕЗ_ЗВУКА] Приветствую вас,
дорогие слушатели.
Данное видео посвящено квизам.
И начнем это видео с описания преимуществ и недостатков заданий,
используемых в квизах.
А после чего поговорим о лучших практиках составления этих заданий.
Напомню, что квизы являются наиболее распространенным форматом
проверки знаний в MOOC, и они могут состоять как из заданий с множественным,
так из заданий с фиксированным выбором ответа.
Ключевым преимуществом указанных заданий является возможность проверить
понимание большой выборки содержания.
Другими словами,
одним тестом можно проверить понимание большого количества материала.
Второе преимущество заданий из квизов ─ это объективность их оценивания.
Как в заданиях с множественным выбором, так и в заданиях с фиксированным ответом
оценка объективна, ведь человек либо верно решает задание, либо нет.
Наконец, при использовании лучших практик составления заданий
задания квизов часто имеют более высокие значения
надежности и валидности по сравнению с заданиями peer review.
С другой стороны, задания с множественным выбором ответов,
из которых, в основном, и состоят квизы, имеют ряд недостатков.
Во-первых, в них часто можно угадать правильный ответ,
то есть никогда нельзя с полной уверенностью сказать,
связан ли правильный ответ со знаниями или же он обусловлен угадыванием.
Второй недостаток ─ это то, что задание с множественным выбором ответа,
может быть, действительно трудно составлять, и основная проблема связана с
конструированием правдоподобных дистракторов,
или же неверных ответных опций.
Хорошие дистракторы должны выглядеть правдоподобно для людей с неполными
или отсутствующими знаниями.
И писать такие ответные опции действительно достаточно затруднительно,
и их написание требует значительного времени.
Перечисленных недостатков не имеет второй тип заданий, используемый в квизах,
то есть заданий с фиксированным ответом.
Однако они обычно являются трудными для слушателей,
и поэтому только из них составить тест не получится.
Итак, для составления хороших квизов мы должны уметь составлять хорошие
задания с множественным выбором ответа.
Посмотрим, как же выглядит типичное задание с множественным выбором ответа.
Во-первых, оно состоит из формулировки ─ это, как правило, либо какой-то вопрос,
либо незаконченное утверждение, а также ─ из вариантов ответа.
Варианты ответа делятся на правильные и на неправильные, или дистракторы.
При составлении заданий с множественным выбором ответа очень
желательно использовать определенные практики.
Данные практики основаны на эмпирическом опыте и носят характер рекомендаций,
а не жестких требований, но использование этих практик повышает вероятность
составления квизов, имеющих высокое психометрическое качество.
Итак, первая рекомендация, касающаяся составления заданий из квизов состоит
в том, чтобы конструировать задания для проверки усвоения независимого материала.
Иными словами, правильный ответ на один вопрос не должен содержать в себе
подсказку, облегчающую поиск правильного ответа на какой-то другой вопрос теста.
Если вы хотите получить ответ на серию связанных вопросов, то,
возможно, лучше использовать другой формат заданий, например, peer review.
Следующая рекомендация: избегайте проверки усвоения тривиального материала.
Каждый тест в рамках MOOC ограничен по количеству вопросов.
И с учетом этого ограничения мы, конечно,
хотим проверить усвоение наиболее значимых тем курса.
Более того, мы хотим проверить понимание и применение материала,
а не просто припоминание.
Отсюда следует, что задания не должны сводиться к припоминанию даты,
названия теории или метода, или просто фамилии человека.
Если вы хотите в задании проверить некоторый материал,
который прямо звучал в лекции, то постарайтесь перефразировать его так,
чтобы для ответа на него потребовалось не просто напрячь память,
а использовать более сложные когнитивные операции.
Например, если в курсе звучало определение такого понятия, как метафора,
то составьте задание не по типу «Выберите верное определение метафоры»,
а по типу«В каком из представленных предложений использована метафора?».
Переформулировав вопрос таким образом, мы и проверяем вместо
припоминания определения метафоры понимание этого определения.
Следующая рекомендация состоит в том, чтобы проводить proofreading,
то есть вычитку всех заданий, ведь наличие грамматических,
орфографических, пунктуационных ошибок или ошибок капитализации,
то есть использование заглавных букв, может снизить доверие к авторам курса,
а следовательно, и общее впечатление о курсе.
Далее, делайте задание ясным и по возможности, как можно более коротким.
После прочтения формулировки задания слушателю должно быть понятно,
с проверкой материала какой темы связано это задание.
Вот вам пример плохой формулировки задания «Что из ниже перечисленного
является верным утверждением?».
После прочтения такого вопроса совершенно непонятно,
на проверку каких знаний направлено такое задание.
Другой пример связан с формулированием вопроса, в его формулировке не
должно быть нерелевантной информации или информации, повторяющей материал видео.
Вот на слайде вы можете видеть пример избыточной формулировки.
Вместо введения в контекст достаточно было просто задать прямой вопрос и
опустить несущественные детали.
Далее, избегайте использования подсказок в ответных опциях.
К сожалению, довольно часто правильный ответ выделяется на фоне других
опций: длиной, наличием однокоренного слова или формулировки
заданий или какими-то другими признаками.
И такие подсказки стоит убирать.
Правильный ответ ничем не должен выделяться на фоне неправильных ответов.
Следование этой рекомендации позволит снизить вероятность угадывания
правильного ответа.
И наконец, ключевая рекомендация к заданиям с множественным выбором
ответа ─ делайте все дистракторы правдоподобными.
Суть использования дистрактора состоит в том, чтобы его выбирали люди
с отсутствием знаний или с частичными знаниями и не выбирали люди,
которые действительно разобрались в материале.
Соответственно, строя дистракторы, используйте распространенные ошибки или
какие-то заблуждения, или, наоборот, верные утверждения,
связанные с темой вопросов, но не являющиеся ответом на него.
Если же нашу неверную ответную опцию не выбирает слушатель,
то от нее лучше вообще избавиться на этапе анализа заданий,
так как она не несет никакой смысловой функции и только перегружает наш тест.
Итак, мы рассмотрели некоторые практики,
знание которых может помочь составить качественные квизы.
И в заключение этого видео давайте обсудим такой вопрос: сколько же стоит
составлять неверных ответных опций, то есть дистракторов,
в заданиях с множественным выбором ответа?
Обычно говорят, что оптимальное количество ответных опций равно четырем,
то есть один правильный ответ и три дистрактора.
Такое количество дистракторов оптимально с точки зрения вероятности угадывания
правильного ответа, а также с точки зрения времени,
необходимого для разработки ответных альтернатив.
Однако хороший дистактор ─ это тот, который выбирают люди,
не овладевшие материалом курса.
И если задание позволяет написать только три естественные ответные опции,
то не нужно включать дополнительно очевидно неверную опцию,
ведь такую опцию не будут выбирать люди, а значит, она не позволит различать
слушателей и никак не снижает вероятность угадывания правильного ответа.
В отдельных случаях вполне допустимо,
в некоторых заданиях квизов иметь менее четырех ответных опций.
Итак, давайте подведем итог этого видео: основным типом заданий в
квизах является задание с множественным выбором ответа.
Оно требует значительных затрат времени для разработки
правдоподобных дистракторов,
однако при этом позволяет проверить большую выборку содержания курса.
При составлении заданий для квизов мы вам можем порекомендовать: конструировать
задания в рамках теста для проверки усвоения независимого материала,
избегать проверку усвоения тривиального материала,
проводить тщательную вычитку составленных заданий,
делать задание ясным и по возможности коротким, избегать в ответных
опциях подсказок, а также делать все дистракторы правдоподобными.
И напомню еще раз, что хороший дистрактор — это тот,
который часто выбирают люди, плохо справившиеся с тестом,
то есть недостаточно разобравшиеся в материале курса.
И мы вам рекомендуем использовать три неверные ответные опции.
На этом мы заканчиваем разговор о составлении заданий для квизов,
а в следующем видео мы поговорим о том,
как составлять другие форматы заданий — peer review и задания по программированию.
