Грокаем машинное обучение

Предисловие....11 Вступление....13 Благодарности....15 О книге....17 Как организована книга: дорожная карта....17 О коде....19 От издательства....20 Об авторе....21 1. Что такое машинное обучение? Это здравый смысл, проявляемый компьютером....22 Я с радостью присоединяюсь к вам на пути к знаниям!....23 Машинное обучение повсюду....23 Нужен ли большой опыт в математике и программировании, чтобы понять машинное обучение?....24 Так что же такое машинное обучение?....25 Как заставить машины принимать решения с помощью данных? Концепция вспоминания — формулирования — прогнозирования....28 Резюме....37 2. Типы машинного обучения....38 В чем разница между размеченными и неразмеченными данными....40 Контролируемое обучение — раздел машинного обучения, который работает с размеченными данными....42 Неконтролируемое обучение: раздел машинного обучения, который работает с неразмеченными данными....46 Что такое обучение с подкреплением....56 Резюме....58 Упражнения....58 3. Прямая вплотную к точкам. Линейная регрессия....60 Задача: спрогнозировать цену дома....62 Решение: построить регрессионную модель цен на жилье....63 Как заставить компьютер провести прямую. Алгоритм линейной регрессии....70 Как мы измеряем результаты? Функция ошибок....86 Реальное применение. Использование Turi Create для прогнозирования цен на жилье в Индии....94 Что делать, если данные не расположены на прямой? Полиномиальная регрессия....96 Параметры и гиперпараметры....98 Применение регрессии....99 Резюме....100 Упражнения....101 4. Оптимизация процесса обучения. Недообучение, переобучение, тестирование и регуляризация....103 Пример недообучения и переобучения с использованием полиномиальной регрессии....106 Как заставить компьютер выбрать правильную модель? Тестированием!....108 Где нарушено золотое правило и как это исправить? Контрольный набор....111 Численный способ определить нужную сложность модели. График сложности модели....112 Еще один способ избежать переобучения — регуляризация....114 Полиномиальная регрессия, тестирование и регуляризация с помощью Turi Create....124 Резюме....128 Упражнения....129 5. Использование прямых для разделения точек. Алгоритм персептрона....131 Проблема: мы на чужой планете и не знаем местного языка!....134 Как определить, хорошо ли работает классификатор? Функция ошибки....149 Как найти хороший классификатор? Алгоритм персептрона....157 Кодирование алгоритма персептрона....166 Применение алгоритма персептрона....171 Резюме....173 Упражнения....174 6. Непрерывный подход к разделению точек. Логистические классификаторы....176 Логистические классификаторы — непрерывная версия персептронных классификаторов....178 Как найти хороший логистический классификатор? Алгоритм логистической регрессии....190 Кодирование алгоритма логистической регрессии....197 Реальное применение. Классификация обзоров IMDB с помощью Turi Create....201 Классификация по нескольким классам. Логистическая функция со многими переменными....204 Резюме....206 Упражнения....206 7. Как оценивать классификационные модели? Достоверность и ее друзья....208 Достоверность. Как часто модель оказывается права?....210 Как устранить проблему с достоверностью? Определение различных типов ошибок и способы их измерения....211 Полезный инструмент для оценки модели — кривая рабочих характеристик приемника....223 Резюме....235 Упражнения....237 8. Как использовать вероятность по максимуму. Наивная байесовская модель....239 Болен или здоров? История с теоремой Байеса в качестве героя....241 Пример использования — модель спам-фильтра....246 Построение модели спам-фильтра на основе реальных данных....260 Резюме....264 Упражнения....264 9. Разбиение данных согласно ответам на вопросы. Деревья решений....267 Задача: необходимо рекомендовать пользователям приложения, которые они, скорее всего, скачают....274 Решение: создание системы рекомендации приложений....276 Помимо вопросов типа «да/нет»....292 Графическая граница деревьев решений....296 Реальное применение. Моделирование приема студентов с помощью Scikit-Learn....300 Деревья решений для регрессии....304 Сфера применения....308 Резюме....309 Упражнения....310 10. Комбинирование ради усиления. Нейронные сети....312 Нейронные сети на примере. Более сложная чужая планета....314 Обучение нейронных сетей....328 Кодирование нейронных сетей в Keras....336 Нейронные сети для регрессии....344 Другие архитектуры для более сложных наборов данных....346 Резюме....349 Упражнения....350 11. Нахождение границ со стилем. Машины опорных векторов и метод ядра....352 Использование новой функции ошибок для создания более совершенных классификаторов....355 Кодирование машин с опорными векторами в Scikit-Learn....362 Обучение SVM с нелинейными границами. Метод ядра....364 Резюме....387 Упражнения....388 12. Комбинирование моделей для достижения максимальных результатов. Ансамблевое обучение....390 С небольшой помощью наших друзей....392 Бэггинг. Случайное объединение нескольких слабых моделей для создания сильной....394 AdaBoost. Разумное объединение слабых алгоритмов для формирования сильного....399 Градиентный бустинг. Использование деревьев решений для формирования сильных обучающих алгоритмов....408 XGBoost — экстремальный метод градиентного бустинга....413 Применение методов ансамбля....423 Резюме....423 Упражнения....424 13. Применение изученного на практике. Реальный пример разработки данных и машинного обучения....425 Набор данных «Титаник»....427 Очистка набора данных. Отсутствующие значения и как с ними бороться....431 Конструирование признаков. Преобразование признаков в наборе данных перед обучением моделей....433 Обучение моделей....439 Настройка гиперпараметров для поиска наилучшей модели. Поиск по сетке....444 Применение k-кратной перекрестной проверки для повторного использования данных в качестве обучающих и проверочных....447 Резюме....448 Упражнения....449 Приложение А. Решения к упражнениям....450 Глава 2. Типы машинного обучения....450 Глава 3. Прямая вплотную к точкам. Линейная регрессия....453 Глава 4. Оптимизация процесса обучения. Недообучение, переобучение, тестирование и регуляризация....456 Глава 5. Использование прямых для разделения точек. Алгоритм персептрона....458 Глава 6. Непрерывный подход к разделению точек. Логистические классификаторы....461 Глава 7. Как оценивать классификационные модели? Достоверность и ее друзья....463 Глава 8. Как использовать вероятность по максимуму. Наивная байесовская модель....468 Глава 9. Разбиение данных согласно ответам на вопросы. Деревья решений....473 Глава 10. Комбинирование ради усиления. Нейронные сети....478 Глава 11. Нахождение границ со стилем. Машины опорных векторов и метод ядра....481 Глава 12. Комбинирование моделей для достижения максимальных результатов. Ансамблевое обучение....484 Глава 13. Применение изученного на практике. Реальный пример разработки данных и машинного обучения....485 Приложение Б. Математика, лежащая в основе градиентного спуска. Спуск с горы с использованием....486 Использование градиентного спуска для уменьшения функций....487 Использование градиентного спуска для обучения моделей....489 Использование градиентного спуска для регуляризации....502 Застревание на локальных минимумах: как оно происходит и как его обойти....503 Приложение В. Ссылки....505