Введение в статистическое обучение с примерами на языке Python

От издательства....15 Предисловие....16 О переводчике....19 Глава 1. Введение....20 Общий обзор статистического обучения....20 Данные о зарплатах....20 Данные по рынку акций....22 Данные об экспрессии генов....23 Краткая история статистического обучения....25 О книге....26 Для кого предназначена эта книга?....29 Обозначения и матричная алгебра по-простому....30 Структура книги....33 Используемые в лабораторных работах и упражнениях наборы данных....34 Источники....36 Сайт книги....36 Глава 2. Статистическое обучение....37 2.1 Что такое статистическое обучение?....37 2.1.1 Зачем нужно оценивать f?....39 2.1.2 Как оценивать f?....43 2.1.3 Компромисс между точностью предсказаний и интерпретируемостью модели....47 2.1.4 Обучение с учителем и без учителя....50 2.1.5 Регрессия против классификации....52 2.2 Оценка точности модели....53 2.2.1 Оценка качества подгонки....53 2.2.2 Компромисс между смещением и дисперсией....59 2.2.3 Задачи классификации....62 2.3 Лабораторная работа: введение в Python....69 2.3.1 Подготовка....69 2.3.2 Основные команды....70 2.3.3 Введение в числовой Python....71 2.3.4 Графика....81 2.3.5 Последовательности и срезы....88 2.3.6 Индексирование данных....90 2.3.7 Загрузка данных....94 2.3.8 Циклы for....101 2.3.9 Дополнение про графики и числа....103 2.4 Упражнения....110 Теоретические....110 Практические....112 Глава 3. Линейная регрессия....116 3.1 Простая линейная регрессия....117 3.1.1 Оценка коэффициентов....118 3.1.2 Определение точности оценки коэффициентов....121 3.1.3 Определение точности оценки модели....127 3.2 Множественная линейная регрессия....130 3.2.1 Оценка регрессионных коэффициентов....131 3.2.2 Важные вопросы....134 3.3 Прочие факторы регрессионного моделирования....143 3.3.1 Качественные предикторы....143 3.3.2 Расширения линейной модели....148 3.3.3 Возможные проблемы....155 3.4 Маркетинговый план....167 3.5 Сравнение линейной регрессии и классификатора k-ближайших соседей....169 3.6 Лабораторная работа: линейная регрессия....175 3.6.1 Импорт библиотек....175 3.6.2 Простая линейная регрессия....177 3.6.3 Множественная линейная регрессия....186 3.6.4 Прелести многомерной подгонки....187 3.6.5 Эффекты взаимодействия....189 3.6.6 Нелинейные преобразования предикторов....189 3.6.7 Качественные предикторы....191 3.7 Упражнения....193 Теоретические....193 Практические....195 Глава 4. Классификация....202 4.1 Введение в классификацию....203 4.2 Почему не линейная регрессия?....204 4.3 Логистическая регрессия....206 4.3.1 Логистическая модель....207 4.3.2 Оценивание регрессионных коэффициентов....209 4.3.3 Предсказание....211 4.3.4 Множественная логистическая регрессия....212 4.3.5 Мультиномиальная логистическая регрессия....215 4.4 Обобщенные модели для классификации....216 4.4.1 Линейный дискриминантный анализ для p = 1....218 4.4.2 Линейный дискриминантный анализ для p > 1....221 4.4.3 Квадратичный дискриминантный анализ....230 4.4.4 Наивный байесовский классификатор....232 4.5 Сравнение методов классификации....237 4.5.1 Аналитическое сравнение....237 4.5.2 Практическое сравнение....241 4.6 Обобщенные линейные модели....245 4.6.1 Применение линейной регрессии к набору данных Bikeshare....245 4.6.2 Пуассоновская регрессия на наборе данных Bikeshare....248 4.6.3 Применимость обобщенных линейных моделей....252 4.7 Лабораторная работа: логистическая регрессия, LDA, QDA и KNN....253 4.7.1 Набор данных Smarket....253 4.7.2 Логистическая регрессия....255 4.7.3 Линейный дискриминантный анализ....262 4.7.4 Квадратичный дискриминантный анализ....265 4.7.5 Наивный байесовский классификатор....267 4.7.6 Классификатор k-ближайших соседей....269 4.7.7 Линейная и пуассоновская регрессия с набором данных Bikeshare....277 4.8 Упражнения....284 Теоретические....284 Практические....288 Глава 5. Методы повторной выборки....292 5.1 Перекрестная проверка....293 5.1.1 Метод проверочной выборки....293 5.1.2 Перекрестная проверка по отдельным наблюдениям....296 5.1.3 k-кратная перекрестная проверка....298 5.1.4 Компромисс между смещением и дисперсией применительно к k-кратной перекрестной проверке....301 5.1.5 Перекрестная проверка при решении задач классификации....302 5.2 Бутстреп....305 5.3 Лабораторная работа: перекрестная проверка и бутстреп....309 5.3.1 Метод проверочной выборки....310 5.3.2 Перекрестная проверка....313 5.3.3 Бутстреп....316 5.4 Упражнения....322 Теоретические ....322 Практические....323 Глава 6. Отбор и регуляризация линейных моделей....328 6.1 Отбор подмножества переменных....330 6.1.1 Отбор оптимального подмножества переменных....330 6.1.2 Пошаговый отбор....333 6.1.3 Выбор оптимальной модели....337 6.2 Методы сжатия....343 6.2.1 Гребневая регрессия....343 6.2.2 Лассо....348 6.2.3 Выбор гиперпараметра....358 6.3 Методы снижения размерности....360 6.3.1 Метод главных компонент....361 6.3.2 Метод частных наименьших квадратов....369 6.4 Размышляя о большой размерности....371 6.4.1 Данные большой размерности....371 6.4.2 Что не так с данными большой размерности?....372 6.4.3 Регрессия в условиях большой размерности....375 6.4.4 Интерпретация результатов в задачах большой размерности....376 6.5 Лабораторная работа: линейные модели и методы регуляризации....378 6.5.1 Методы отбора подмножеств переменных....379 6.5.2 Гребневая регрессия и лассо....388 6.5.3 Регрессия PCR и PLS....401 6.6 Упражнения....405 Теоретические....405 Практические....409 Глава 7. Выходим за рамки линейности....412 7.1 Полиномиальная регрессия....413 7.2 Ступенчатые функции....415 7.3 Базисные функции....418 7.4 Регрессионные сплайны....418 7.4.1 Кусочно-полиномиальная регрессия....418 7.4.2 Ограничения и сплайны....419 7.4.3 Представление сплайнов с помощью базисных функций....421 7.4.4 Выбор количества и расположения узлов....423 7.4.5 Сравнение с полиномиальной регрессией....425 7.5 Сглаживающие сплайны....426 7.5.1 Введение в сглаживающие сплайны....426 7.5.2 Выбор сглаживающего параметра λ....428 7.6 Локальная регрессия....430 7.7 Обобщенные аддитивные модели....433 7.7.1 GAM для регрессионных задач....433 7.7.2 GAM для задач классификации....437 7.8 Лабораторная работа: нелинейные модели....439 7.8.1 Полиномиальная регрессия и ступенчатые функции....439 7.8.2 Сплайны....447 7.8.3 Сглаживающие сплайны и GAM....451 7.8.4 Локальная регрессия....467 7.9 Упражнения....468 Теоретические....468 Практические....470 Глава 8. Методы на основе деревьев решений....474 8.1 Основы деревьев решений....474 8.1.1 Регрессионные деревья....475 8.1.2 Деревья классификации....483 8.1.3 Деревья против линейных моделей....486 8.1.4 Преимущества и недостатки деревьев....488 8.2 Бэггинг, случайные леса, бустинг и байесовские аддитивные регрессионные деревья....488 8.2.1 Бэггинг....489 8.2.2 Случайные леса....493 8.2.3 Бустинг....495 8.2.4 Байесовские аддитивные регрессионные деревья....498 8.2.5 Краткий вывод по ансамблевым методам, основанным на деревьях....502 8.3 Лабораторная работа: методы на основе деревьев....503 8.3.1 Построение деревьев классификации....503 8.3.2 Построение регрессионных деревьев....510 8.3.3 Бэггинг и случайный лес....512 8.3.4 Бустинг....515 8.3.5 Байесовские аддитивные регрессионные деревья....517 8.4 Упражнения....518 Теоретические....518 Практические....520 Глава 9. Метод опорных векторов....523 9.1 Классификатор с максимальным зазором....524 9.1.1 Что такое гиперплоскость?....524 9.1.2 Классификация с использованием разделяющей гиперплоскости....525 9.1.3 Классификатор с максимальным зазором....527 9.1.4 Построение классификатора с максимальным зазором....529 9.1.5 Случай с несуществующей разделяющей гиперплоскостью....530 9.2 Классификаторы на опорных векторах....531 9.2.1 Введение в классификаторы на опорных векторах....531 9.2.2 Детали работы классификатора на опорных векторах....533 9.3 Метод опорных векторов....536 9.3.1 Классификация с использованием нелинейных решающих границ....536 9.3.2 Метод опорных векторов....538 9.3.3 Применение к данным о сердечных заболеваниях....542 9.4 SVM для случаев с несколькими классами....544 9.4.1 Классификация «один против одного»....544 9.4.2 Классификация «один против всех»....544 9.5 Связь с логистической регрессией....545 9.6 Лабораторная работа: метод опорных векторов....548 9.6.1 Классификатор на опорных векторах....548 9.6.2 Метод опорных векторов....556 9.6.3 ROC-кривые....561 9.6.4 SVM с несколькими классами....564 9.6.5 Применение на примере данных об экспрессии генов....566 9.7 Упражнения....568 Теоретические....568 Практические....569 Глава 10. Глубокое обучение....573 10.1 Однослойные нейронные сети....574 10.2 Многослойные нейронные сети....577 10.3 Сверточные нейронные сети....582 10.3.1 Сверточные слои....584 10.3.2 Пулинговые слои....587 10.3.3 Архитектура сверточной нейронной сети....587 10.3.4 Аугментация данных....589 10.3.5 Результаты использования обуче­нного классификатора....590 10.4 Классификация документов....591 10.5 Рекуррентные нейронные сети....595 10.5.1 Последовательные модели для классификации документов....598 10.5.2 Прогнозирование временных рядов....601 10.5.3 Резюме по рекуррентным нейронным сетям....605 10.6 Когда нужно использовать глубокое обучение....606 10.7 Обуче­ние нейронных сетей....609 10.7.1 Обратное распространение....611 10.7.2 Регуляризация и стохастический градиентный спуск....612 10.7.3 Метод прореживания....613 10.7.4 Настройка нейронной сети....615 10.8 Интерполяция и двойной спуск....615 10.9 Лабораторная работа: глубокое обучение....620 10.9.1 Однослойная нейронная сеть на наборе данных Hitters....623 10.9.2 Многослойная нейронная сеть на наборе данных MNIST....633 10.9.3 Сверточные нейронные сети....639 10.9.4 Использование предварительно обуче­нных сверточных моделей....645 10.9.5 Классификация документов IMDB....648 10.9.6 Рекуррентные нейронные сети....654 10.10 Упражнения....664 Теоретические....664 Практические....665 Глава 11. Анализ выживаемости и цензурированные данные....667 11.1 Время выживаемости и цензурированное время....668 11.2 Понятие цензурирования....669 11.3 Кривая выживаемости по методу Каплана–Мейера....670 11.4 Логарифмический ранговый тест....673 11.5 Регрессионные модели с откликом о выживаемости....676 11.5.1 Функция риска....676 11.5.2 Пропорциональные риски....679 11.5.3 Пример: набор данных BrainCancer....682 11.5.4 Пример: набор данных Publication....683 11.6 Сжатие модели пропорциональных рисков Кокса....686 11.7 Дополнительные темы....688 11.7.1 Значение площади под кривой для анализа выживаемости....688 11.7.2 Выбор временной шкалы....689 11.7.3 Предикторы, зависящие от времени....690 11.7.4 Проверка предположения о пропорциональных рисках....691 11.7.5 Деревья выживаемости....691 11.8 Лабораторная работа: анализ выживаемости....691 11.8.1 Набор данных BrainCancer....692 11.8.2 Набор данных Publication....699 11.8.3 Данные кол-центра....701 11.9 Упражнения....708 Теоретические....708 Практические....711 Глава 12. Методы обучения без учителя....713 12.1 Сложности, связанные с обучением без учителя....713 12.2 Анализ главных компонент....714 12.2.1 Что такое главные компоненты?....715 12.2.2 Другая интерпретация главных компонент....720 12.2.3 Доля объясненной дисперсии....722 12.2.4 Подробности анализа главных компонент....724 12.2.5 Другое применение главных компонент....727 12.3 Пропущенные значения и заполнение матрицы....727 12.4 Методы кластеризации....733 12.4.1 Кластеризация по методу k-средних....735 12.4.2 Иерархическая кластеризация....739 12.4.3 Практические сложности при применении кластеризации....749 12.5 Лабораторная работа: обучение без учителя....751 12.5.1 Анализ главных компонент....752 12.5.2 Заполнение матрицы....758 12.5.3 Кластеризация....762 12.5.4 Пример с набором данных NCI60....772 12.6 Упражнения....780 Теоретические....780 Практические....782 Глава 13. Множественная проверка гипотез....786 13.1 Краткий обзор проверки гипотез....787 13.1.1 Проверка гипотезы....788 13.1.2 Ошибки I и II рода....792 13.2 Трудности множественной проверки гипотез....794 13.3 Групповая вероятность ошибки....796 13.3.1 Что такое групповая вероятность ошибки....796 13.3.2 Способы контроля групповой вероятности ошибки....798 13.3.3 Компромисс между групповой вероятностью ошибки и мощностью....805 13.4 Ожидаемая доля ложных отклонений гипотез....806 13.4.1 Представление ожидаемой доли ложных отклонений гипотез....806 13.4.2 Метод Бенджамини–Хохберга....808 13.5 Метод повторной выборки применительно к p-значениям и ожидаемой доле ложных отклонений гипотез....811 13.5.1 Метод повторной выборки для p-значений....812 13.5.2 Метод повторной выборки для ожидаемой доли ложных отклонений гипотез....815 13.5.3 Когда бывают полезны методы повторной выборки?....818 13.6 Лабораторная работа: множественная проверка гипотез....819 13.6.1 Обзор проверки гипотез....819 13.6.2 Групповая вероятность ошибки....821 13.6.3 Ожидаемая доля ложных отклонений гипотез....825 13.6.4 Метод повторной выборки....828 13.7 Упражнения....832 Теоретические....832 Практические....834 Предметный указатель....837 Пустая страница....1