Не так давно получил распространение термин «большие данные», обозначивший новую прикладную область — поиск способов автоматического быстрого анализа огромных объёмов разнородной информации. Наука о больших данных ещё только оформляется, но уже сейчас она очень востребована — и в будущем будет востребована только больше. С её помощью можно решать невероятные задачи: оценивать состояние печени по кардиограмме, предсказывать зарплату по описанию вакансии, предлагать пользователю музыку на основании его анкеты в интернете. Большими данными может оказаться что угодно: результаты научных экспериментов, логи банковских транзакций, метеорологические наблюдения, профили в социальных сетях — словом, всё, что может быть полезно проанализировать. Самым перспективным подходом к анализу больших данных считается применение машинного обучения — набора методов, благодаря которым компьютер может находить в массивах изначально неизвестные взаимосвязи и закономерности. На факультете компьютерных наук ВШЭ и в Школе анализа данных есть люди, активно использующие машинное обучение и разрабатывающие новые подходы к нему. Именно они — преподаватели этого курса. Вы изучите основные типы задач, решаемых с помощью машинного обучения — в основном речь пойдёт о классификации, регрессии и кластеризации. Узнаете об основных методах машинного обучения и их особенностях, научитесь оценивать качество моделей — и решать, подходит ли модель для решения конкретной задачи. Наконец, познакомитесь с современными библиотеками, в которых реализованы обсуждаемые модели и методы оценки их качества. Для работы мы будем использовать реальные данные из реальных задач. Краткая программа курса: Неделя 1. Введение. Примеры задач. Логические методы: решающие деревья и решающие леса. Неделя 2. Метрические методы классификации. Линейные методы, стохастический градиент. Неделя 3. Метод опорных векторов (SVM). Логистическая регрессия. Метрики качества классификации. Неделя 4. Линейная регрессия. Понижение размерности, метод главных компонент. Неделя 5. Композиции алгоритмов, градиентный бустинг. Нейронные сети. Неделя 6. Кластеризация и визуализация. Частичное обучение. Неделя 7. Прикладные задачи анализа данных: постановки и методы решения. Слушателю нужно знать об основных понятиях математики: функциях, производных, векторах, матрицах. Для выполнения практических заданий потребуются базовые навыки программирования. Очень желательно знать Python. Задания рассчитаны на использование этого языка и его библиотек numpy, pandas и scikit-learn. Чтобы успешно завершить курс, нужно набрать проходную сумму баллов за тесты и практические задания, а также выполнить финальный проект, посвящённый решению прикладной задачи анализа данных. Мы уверены, что этот курс будет полезен каждому, кто хочет постичь искусство предсказательного моделирования и освоить интеллектуальный анализ данных.
Этапы анализа данных
Loading...
Do curso por National Research University Higher School of Economics
Введение в машинное обучение
1581 ratings
Na lição
Машинное обучение в прикладных задачах
В этом модуле мы подведем итоги курса, вспомним основные этапы решения задачи анализа данных. Также мы разберем несколько задач из прикладных областей, чтобы подготовиться к выполнению финального проекта.
Conheça os instrutores
Константин Вячеславович ВоронцовПрофессор
Факультет компьютерных наук НИУ ВШЭ, Школа анализа данных Яндекса
Evgeny SokolovSenior Lecturer
HSE Faculty of Computer Science
[БЕЗ_ЗВУКА] Наш курс подходит к концу.
Вы уже узнали, какие бывают семейства алгоритмов машинного обучения, какие
у них параметры, какие гиперпараметры, как их настраивать, как оценивать качество.
В последних лекциях мне хотелось бы подвести итоги и напомнить вам,
какие бывают этапы анализа данных,
а также рассказать об особенностях решения практических задач.
Первое, что вам нужно понять, когда вы имеете дело с машинным обучением,
— это чем вы занимаетесь, какую задачу вы решаете.
Представьте, что вас нанял банк помогать ему с анализом данных,
и они хотят, чтобы вы предсказывали,
сколько денег потеряет банк, если выдаст кредит тому или иному клиенту.
Если клиент полностью вернёт кредит, то потери равны нулю.
Если не сделает ни одного платежа, то потери равны 100 %.
Иначе — они где-то между нулём и 100 %.
Это задача регрессии,
поскольку целевая переменная Y здесь вещественная, от нуля до 100 %.
При этом иногда вы можете сами влиять на постановку задачи.
Представьте, что в этой задаче на самом деле банк будет бинаризовать ваши
предсказания.
Если прогноз потерь равен нулю, то кредит будет выдан.
Если прогноз потерь больше нуля, то кредит выдан не будет.
В этом случае вы можете предсказывать напрямую: ноль или один,
вернёт ли клиент кредит или не вернёт.
Мы получим задачу бинарной классификации,
где целевая переменная может принимать дискретные значения.
Также бывают задачи кластеризации, в которых нет правильных ответов.
Вам нужно найти группы похожих объектов, которые схожи по некоторым признакам.
Например, в том же банке вас могут попросить кластеризовать клиентов.
Допустим, вы можете найти кластер клиентов,
которые получают зарплату на карту, снимают её и больше ничего не делают,
или группу клиентов, которые используют карту, только чтобы ездить за границу.
Дальше банк может думать, как, например, улучшать интернет-банк,
чтобы помочь каждой группе клиентов.
Хорошо.
После того как мы поняли, чем мы занимаемся,
нужно понять, какая метрика будет измерять качество нашего решения,
как мы будем понимать, что мы успешно решили задачу.
Регрессия — это может быть среднеквадратичная ошибка, то есть средний
квадрат отклонения нашего прогноза от правильного ответа по всем объектам.
Или средняя абсолютная ошибка.
Это то же самое, но только квадрат меняется на модуль.
Средняя абсолютная ошибка более устойчива к объектам с сильными отклонениями.
Классификация — это может быть доля верных ответов,
точность или полнота, площадь под ROC или под кривой точности и полноты.
Выбор конкретной метрики зависит от того, какую задачу вы решаете.
В кластеризации всё немного сложнее.
Там, поскольку нет правильных ответов, нет правильной метрики,
и конкретный выбор зависит от вашей задачи.
Эти метрики подходят,
если вы решаете соревнование по машинному обучению или пишете научную статью.
При этом не стоит забывать, что ещё бывают бизнес-метрики,
которые характеризуют коммерческую ценность вашего решения.
Например, представьте,
что вы пишете рекомендательную систему для интернет-магазина,
и вашего заказчика интересует прибыль, которую он получит после её внедрения.
В этом случае вы будете делать алгоритм, который предсказывает, какой товар купит
пользователь, заинтересуется ли он тем или иным товаром или нет.
В то же время максимизация доли верных ответов и прибыли
— это совершенно разные задачи.
Представьте простой пример: к вам приходит пользователь,
которому нужны цветные карандаши и холодильник.
Он не помнит об этом, но если напомнить ему, то он купит.
При этом вы можете сделать только одну рекомендацию.
Если вы посоветуете карандаши, то покупка будет иметь место,
но прибыль магазина будет ничтожной, поскольку карандаши дешёвые.
Холодильник — гораздо более выгодная рекомендация.
В этом случае вам будет полезно учитывать цены товаров в вашем алгоритме,
чтобы максимизировать бизнес-метрику.
Или другой пример.
Представьте, что вам нужно разослать клиентам письма с рекомендациями отелей,
в которые они могут заселиться.
При этом итоговая метрика — это число кликов по рекомендациям к письмам.
Вы можете делать алгоритм, который предсказывает,
кликнет пользователь по тому или иному отелю или не кликнет.
В то же время есть много других факторов, которые не зависят от машинного обучения.
Например, сколько отелей показать в письме: один, два, три, может быть, шесть?
Наверное, меньше — это лучше.
Если советов будет шесть, то пользователь подумает, что это спам.
Если же совет будет один, и при этом хорошо описан,
пользователь может заинтересоваться.
Или ещё один фактор.
Рядом с отелями вы будете показывать фотографии.
Если фотография очень красивая,
то пользователь заинтересуется и кликнет по ней.
Если же она не очень качественная, то вряд ли это ему понравится.
И, возможно, в этой задаче улучшение качества фотографии гораздо важнее,
чем улучшение качества моделей.
Вывод отсюда такой: проследите, что метрика, которой будет мериться ваш успех,
зависит от машинного обучения, а не от других факторов.
Хорошо.
Допустим, мы поняли, какую задачу решаем и как измеряется успех.
Дальше нужно понять, на основе каких данных мы будем делать предсказания.
Данные могут быть самые разные.
Они могут быть числовыми, например, возраст или годовой доход человека.
С числами проще всего.
Все алгоритмы машинного обучения уже готовы к этому.
Но данные могут быть и более сырыми, например, категориальными.
Это признаки, которые нельзя сравнивать между собой.
Например, цвет.
Мы не можем сказать, зелёный и красный как соотносятся.
Красный больше зелёного?
Меньше?
Равен? Это просто какие-то значения.
Или это может быть идентификатор пользователя.
Их тоже нельзя сравнивать между собой.
Также признаки могут быть текстовыми, например,
описание товара на странице интернет-магазина.
Признаки могут иметь структуру, например, изображение или звуковые сигналы.
Также признаками могут быть координаты, например, объектом может являться
последовательность координат, по которой проехал ваш клиент на автомобиле.
И задачей является предсказание вероятности того,
что он рано или поздно попадёт в аварию.
Когда мы поняли, на основе каких данных будем решать задачу,
нужно учиться формировать по ним признаки или создавать матрицу «объекты-признаки»,
по которой уже дальше будет обучаться алгоритм машинного обучения.
В первую очередь нужно уметь преобразовывать числовые признаки.
Конечно, с ними можно работать сразу, но иногда полезнее сделать преобразование,
например, отмасштабировать их, привести к одной шкале.
Если же у вас более сложные признаки: сырые, категориальные,
текстовые или что-то ещё,
то нужны специальные преобразования, чтобы получить из них числа.
Мы поговорим об этом в одной из следующих лекций.
После того как признаки сформированы, нужно сделать их предобработку.
Дело в том, что данные могут быть «грязными».
К примеру, в них могут быть выбросы.
Например, выбросы — это ситуация,
в которой объект класса 1 отнесён к классу 0 по какой-то причине.
В этом случае алгоритм будет настраиваться не на ту разметку,
его качество будет хуже.
Или в признаках могут быть шумы.
Например, кто-то проставил клиенту возраст 1000, хотя это явно неправда.
Ещё в данных могут быть пропущенные значения.
Например, если мы имеем дело с данными опроса населения,
то кто-то мог не отвечать на один из вопросов, или тот, кто задавал вопросы,
мог забыть внести ответы, и нужно уметь как-то заполнять эти пропуски.
Без них ничего не будет работать.
Вообще, в машинном обучении есть такой принцип: мусор на входе — мусор на выходе.
Или, другими словами, если вы будете обучать алгоритм на плохих данных,
то и прогнозы будут не очень осмысленными.
Хорошо.
Дальше нужно научиться строить алгоритм и выбрать,
из какого семейства будет ваш алгоритм машинного обучения.
Считается, что наиболее популярные модели — это линейные, это композиции деревьев,
которые настраиваются градиентным бустингом или случайными лесами,
а также это могут быть нейронные сети.
Как правило, речь идёт о глубоких нейронных сетях,
которые состоят из большого количества слоёв, а также имеют сложную структуру.
Например, свёрточные нейронные сети или рекуррентные.
К сожалению, они выходят за рамки этого курса.
Также вам может понадобится отбор признаков, если вы считаете,
что далеко не все признаки в выборке полезны, или же понижение размерности,
когда вы генерируете новые признаки на основе старых.
Их будет меньше, но при этом их выразительная способность будет больше.
После того как вы определились с семейством алгоритмов,
нужно понять, как оценить качество, как настроить гиперпараметры.
Для этого пригождается, например, отложенная выборка или же кросс-валидация.
При этом вы должны понимать, сколько объектов взять в отложенную выборку или по
скольки блокам сделать кросс-валидацию.
Также иногда может быть полезно разбивать данные не случайно, а, например, по дате.
Мы поговорим об этом чуть позже.
Итак, мы обсудили основные этапы анализа данных.
В первую очередь вы должны понять,
какую задачу вы решаете и как будет определяться успех её решения.
Дальше вы разбираетесь с тем, какие данные вам будут предоставлены.
После этого формируете признаки на их основе, предобрабатываете их,
строите модель, оцениваете её качество и настраиваете гиперпараметры с помощью
отложенной выборки, кросс-валидации или других методов.
[БЕЗ_ЗВУКА]
Explore nosso catálogo
Registre-se gratuitamente e obtenha recomendações, atualizações e ofertas personalizadas.
O Coursera proporciona acesso universal à melhor educação do mundo fazendo parcerias com as melhores universidades e organizações para oferecer cursos on-line.
© 2018 Coursera Inc. Todos os direitos reservados.
