Глубокое обучение с R и Keras. 2 изд

 Оглавление....8 Предисловие....17 Благодарности....19 Об этой книге....20 Об иллюстрации на обложке....24 Об авторах....25 Глава 1. Что такое глубокое обучение?....26 1.1	Искусственный интеллект, машинное и глубокое обуче­ние....27 1.1.1	Искусственный интеллект....27 1.1.2	Машинное обуче­ние....28 1.1.3	Извлечение правил и представлений из данных....30 1.1.4	«Глубина» глубокого обуче­ния....33 1.1.5	Принцип действия глубокого обуче­ния в трех рисунках....35 1.1.6	Каких успехов достигло глубокое обуче­ние....37 1.1.7	Не верьте рекламной шумихе....38 1.1.8	Перспективы развития ИИ....39 1.2	Краткая история машинного обуче­ния....40 1.2.1	Вероятностное моделирование....41 1.2.2	Первые нейронные сети....41 1.2.3	Ядерные методы....42 1.2.4	Деревья решений, случайные леса и градиентный бустинг....44 1.2.5	Назад к нейронным сетям....45 1.2.6	Отличительные черты глубокого обуче­ния....46 1.2.7	Современный ландшафт машинного обуче­ния....47 1.3	Почему глубокое обуче­ние? Почему сейчас?....49 1.3.1	Оборудование....50 1.3.2	Данные....51 1.3.3	Алгоритмы....52 1.3.4	Новая волна инвестиций....53 1.3.5	Демократизация глубокого обуче­ния....54 1.3.6	Ждать ли продолжения этой тенденции?....54 Глава 2. Математические основы нейронных сетей....57 2.1	Первое знакомство с нейронной сетью....58 2.2	Представление данных для нейронных сетей....62 2.2.1	Скаляры (тензоры нулевого ранга)....63 2.2.2	Векторы (тензоры первого ранга)....63 2.2.3	Матрицы (тензоры второго ранга)....64 2.2.4	Тензоры третьего и более высокого рангов....64 2.2.5	Ключевые атрибуты....64 2.2.6	Манипулирование тензорами в R....66 2.2.7	Пакеты данных....66 2.2.8	Практические примеры тензоров с данными....67 2.2.9	Векторные данные....67 2.2.10	Временные ряды, или последовательности данных....68 2.2.11	Изображения....69 2.2.12	Видеоданные....69 2.3	Шестеренки нейронных сетей: операции с тензорами....70 2.3.1	Поэлементные операции....71 2.3.2	Операции с тензорами разной размерности....72 2.3.3	Скалярное произведение тензоров....74 2.3.4	Изменение формы тензора....76 2.3.5	Геометрическая интерпретация операций с тензорами....77 2.3.6	Геометрическая интерпретация глубокого обуче­ния....81 2.4	Механизм нейронных сетей: оптимизация на основе градиента....82 2.4.1	Что такое производная?....84 2.4.2	Производная операций с тензорами: градиент....85 2.4.3	Стохастический градиентный спуск....87 2.4.4	Объединение производных: алгоритм обратного распространения ошибки....90 2.5	Возвращаясь к нашему первому примеру....97 2.5.1	Повторная реализация нашего первого примера с нуля в TensorFlow....99 2.5.2	Выполнение одного шага обуче­ния....101 2.5.3	Полный цикл обуче­ния....103 2.5.4	Оценка модели....104 Краткие итоги главы....105 Глава 3. Введение в Keras и TensorFlow....106 3.1	Что такое TensorFlow?....107 3.2	Что такое Keras?....108 3.3	Keras и TensorFlow: краткая история....109 3.4	Интерфейсы Python и R: краткая история....110 3.5	Настройка среды разработки для глубокого обучения....111 3.5.1	Установка Keras и TensorFlow....112 3.6	Первые шаги с TensorFlow....113 3.6.1	Тензоры TensorFlow....114 3.7	Атрибуты тензоров....115 3.7.1	Форма тензора и ее изменение....116 3.7.2	Срезы тензоров....118 3.7.3	Операции с тензорами разной размерности....119 3.7.4	Модуль tf....119 3.7.5	Неизменность тензоров и переменные....121 3.7.6	Математические операции в TensorFlow....122 3.7.7	Взгляд на API GradientTape с другой стороны....123 3.7.8	Полный пример: линейный классификатор в чистом TensorFlow....124 3.8	Анатомия нейронной сети и основы API Keras....129 3.8.1	Слои: строительные блоки глубокого обуче­ния....130 3.8.2	От слоев к моделям....134 3.8.3	Этап «компиляции»: настройка процесса обучения....136 3.8.4	Выбор функции потерь....139 3.8.5	Использование метода fit()....140 3.8.6	Отслеживание потерь и показателей на контрольных данных....141 3.8.7	Использование модели после обуче­ния....142 Краткие итоги главы....143 Глава 4. Примеры работы с нейросетью: классификация и регрессия....145 4.1	Классификация отзывов к фильмам: пример бинарной классификации....147 4.1.1	Набор данных IMDB....147 4.1.2	Подготовка данных....149 4.1.3	Создание модели....150 4.1.4	Проверка вашего выбора....153 4.1.5	Использование обученной сети для прогнозирования на новых данных....156 4.1.6	Продолжаем эксперименты....157 4.1.7	Промежуточные итоги....157 4.2	Классификация новостных лент: пример многоклассовой классификации....158 4.2.1	Набор данных Reuters....158 4.2.2	Подготовка данных....160 4.2.3	Построение модели....160 4.2.4	Проверка модели....161 4.2.5	Предсказания на новых данных....163 4.2.6	Другой способ обработки меток и потерь....164 4.2.7	Важность использования достаточно больших промежуточных слоев....164 4.2.8	Дальнейшие эксперименты....165 4.2.9	Промежуточные итоги....165 4.3	Предсказание цен на дома: пример регрессии....166 4.3.1	Набор данных с ценами на жилье в Бостоне....166 4.3.2	Подготовка данных....167 4.3.3	Построение модели....167 4.3.4	Оценка качества модели методом K-кратной перекрестной проверки....168 4.3.5	Выдача прогнозов на новых данных....173 4.3.6	Промежуточные выводы....173 Краткие итоги главы....173 Глава 5. Основы машинного обучения....175 5.1	Обобщение – цель машинного обуче­ния....175 5.1.1	Недообучение и переобучение....176 5.1.2	Базовые принципы обобщения в глубоком обуче­нии....182 5.2	Оценка моделей машинного обуче­ния....189 5.2.1	Наборы данных для обуче­ния, проверки и контроля....189 5.2.2	Использование критериев, основанных на здравом смысле....193 5.2.3	Что следует помнить об оценке модели....194 5.3	Улучшение качества обуче­ния модели....195 5.3.1	Настройка ключевых параметров градиентного спуска....195 5.3.2	Использование лучшей априорно обоснованной архитектуры....198 5.3.3	Увеличение емкости модели....199 5.4	Как улучшить обобщение....201 5.4.1	Подготовка набора данных....201 5.4.2	Конструирование признаков....202 5.4.3	Использование ранней остановки....204 5.4.4	Регуляризация модели....204 Краткие итоги главы....215 Глава 6. Обобщенный рабочий процесс машинного обучения....217 6.1	Постановка задачи....219 6.1.1	Уточнение задачи....219 6.1.2	Получение исходных данных....221 6.1.3	Добейтесь понимания данных....225 6.1.4	Выберите меру успеха....226 6.2	Разработка модели....227 6.2.1	Подготовка данных....227 6.2.2	Выбор протокола оценки....229 6.2.3	Как превзойти простой базовый уровень....230 6.2.4	Масштабирование: разработка модели, способной к переобучению....231 6.2.5	Регуляризация и настройка модели....232 6.3	Развертывание модели....233 6.3.1	Представление модели заказчику....233 6.3.2	Передача модели заказчику....234 6.3.3	Мониторинг модели в рабочей среде....238 6.3.4	Поддержка и обновление модели....238 Краткие итоги главы....239 Глава 7. Работа с Keras: углубленные навыки....241 7.1	Широкий спектр рабочих процессов Keras....242 7.2	Различные способы построения моделей Keras....242 7.2.1	Sequential API....243 7.2.2	Functional API....246 7.2.3	Создание подкласса класса Model....253 7.2.4	Смешивание и сочетание разных компонентов....257 7.2.5	Используйте правильные инструменты....258 7.3	Использование встроенных циклов обучения и оценки....258 7.3.1	Разработка собственных метрик....259 7.3.2	Использование обратных вызовов....262 7.3.3	Разработка собственных обратных вызовов....264 7.3.4	Мониторинг и визуализация с по­мощью TensorBoard....266 7.4	Разработка собственных циклов обучения и оценки....268 7.4.1	Обучение или логический вывод....269 7.4.2	Использование метрик на низком уровне....270 7.4.3	Полный цикл обуче­ния и оценки....271 7.4.4	Увеличьте быстродействие с по­мощью tf_function()....274 7.4.5	Использование fit() с пользовательским циклом обучения....275 Краткие итоги главы....278 Глава 8. Глубокое обучение в компьютерном зрении....279 8.1	Введение в сверточные нейронные сети....280 8.1.1	Операция свертки....283 8.1.2	Выбор максимального значения из соседних (max-pooling)....288 8.2	Обучение сверточной нейронной сети с нуля на небольшом наборе данных....291 8.2.1	Целесообразность глубокого обуче­ния для решения задач с небольшими наборами данных....292 8.2.2	Загрузка данных....292 8.2.3	Построение сети....295 8.2.4	Предварительная обработка данных....297 8.2.5	Расширение данных....303 8.3	Использование предварительно обученной сверточной нейронной сети....307 8.3.1	Выделение признаков....308 8.3.2	Дообучение ранее обученной модели....318 Краткие итоги главы....322 Глава 9. Глубокое обучение для компьютерного зрения....323 9.1	Три основные задачи компьютерного зрения....324 9.2	Пример сегментации изображения....325 9.3	Современные стандартные архитектуры сверточных сетей....335 9.3.1	Модульность, иерархия и повторное использование....336 9.3.2	Остаточные связи....339 9.3.3	Пакетная нормализация....343 9.3.4	Разделяемые по глубине свертки....346 9.3.5	Применим знания на практике: мини-модель, подобная Xception....349 9.4	Интерпретация знаний сверточной нейросети....352 9.4.1	Визуализация промежуточных активаций....353 9.4.2	Визуализация сетевых фильтров....359 9.4.3	Визуализация тепловых карт активации класса....365 Краткие итоги главы....371 Глава 10. Глубокое обучение и временные ряды....372 10.1	Различные виды задач временных рядов....372 10.2	Пример прогнозирования температуры....374 10.2.1	Подготовка данных....378 10.2.2	Простое решение задачи без привлечения машинного обучения....382 10.2.3	Решение с использованием базовой модели машинного обучения....384 10.2.4	Эксперимент с одномерной сверточной сетью....386 10.2.5	Первый вариант простой рекуррентной модели....389 10.3	Рекуррентные нейронные сети....390 10.3.1	Рекуррентный слой в Keras....393 10.4	Продвинутое применение рекуррентных нейронных сетей....398 10.4.1	Использование рекуррентного прореживания для борьбы с переобуче­ни­ем....399 10.4.2	Наложение рекуррентных слоев....402 10.4.3	Использование двунаправленных рекуррентных сетей....404 10.4.4	Что дальше....407 Краткие итоги главы....409 Глава 11. Глубокое обучение в обработке текстов....410 11.1	Обработка естественного языка: обзор отрасли....410 11.2	Подготовка текстовых данных....413 11.2.1	Стандартизация текста....414 11.2.2	Разделение текста (токенизация)....415 11.2.3	Индексация словаря....416 11.2.4	Использование слоя layer_text_vectorization....418 11.3	Два подхода к представлению групп слов: наборы и последовательности....422 11.3.1	Подготовка данных обзоров фильмов IMDB....423 11.3.2	Обработка слов без учета порядка....426 11.3.3	Обработка последовательности слов....434 11.4	Архитектура Transformer....448 11.4.1	Механизм самовнимания....448 11.4.2	Многоголовое внимание....454 11.4.3	Кодировщик в архитектуре Transformer....455 11.4.4	Когда следует использовать модели последовательности, а не модели мешка слов....465 11.5	Помимо классификации текста: обучение преобразованию последовательностей....466 11.5.1	Пример машинного перевода....468 11.5.3	Рекуррентная модель преобразования последовательностей....471 11.5.4	Преобразование последовательностей с Transformer....478 Краткие итоги главы....484 Глава 12. Генеративные модели глубокого обучения....486 12.1	Генерирование текста с помощью Keras....488 12.1.1	Краткая история генеративных сетей....488 12.1.2	Как генерируют последовательности данных?....490 12.1.3	Важность стратегии выбора....490 12.1.4	Реализация генерации текста с по­мощью Keras....493 12.1.5	Обратный вызов генерации текста с выборкой при разной температуре....497 12.1.6	Подведение итогов....504 12.2	DeepDream....504 12.2.1	Реализация DeepDream в Keras....505 12.2.2	Подведение итогов....513 12.3	Нейронный перенос стиля....514 12.3.1	Функция потерь содержания....515 12.3.2	Функция потерь стиля....515 12.3.3	Реализация переноса стиля в Keras....516 12.3.4	Подведение итогов....524 12.4	Генерация изображений с помощью вариационных автокодировщиков....524 12.4.1	Выбор шаблонов из скрытых пространств изображений....525 12.4.2	Концептуальные векторы для редактирования изображений....526 12.4.3	Вариационные автокодировщики....527 12.4.4	Реализация VAE с по­мощью Keras....530 12.4.5	Подведение итогов....536 12.5	Введение в генеративно-состязательные сети....536 12.5.1	Реализация генеративно-состязательной сети....538 12.5.2	Полезные технические приемы....539 12.5.3	Получение набора данных CelebA....540 12.5.4	Дискриминатор....542 12.5.5	Генератор....543 12.5.6	Состязательная сеть....544 12.5.7	Подведение итогов....547 Краткие итоги главы....548 Глава 13. Глубокое обучение в реальной жизни....549 13.1	Получение максимальной отдачи от ваших моделей....550 13.1.1	Оптимизация гиперпараметров....550 13.1.2	Ансамблирование моделей....559 13.2	Масштабируемое обуче­ние моделей....561 13.2.1	Ускорение обуче­ния на GPU со смешанной точностью....562 13.2.2	Обучение модели на нескольких GPU....565 13.2.3	Обучение модели на TPU....570 Краткие итоги главы....572 Глава 14. Заключение....573 14.1	Краткий обзор ключевых понятий....574 14.1.1	Различные подходы к ИИ....574 14.1.2	Что выделяет глубокое обуче­ние среди других подходов к машинному обуче­нию....575 14.1.3	Как правильно воспринимать глубокое обуче­ние....575 14.1.4	Ключевые технологии глубокого обуче­ния....577 14.1.5	Обобщенный рабочий процесс машинного обуче­ния....578 14.1.6	Основные архитектуры сетей....579 14.1.7	Пространство возможностей....584 14.2	Ограничения глубокого обуче­ния....586 14.2.1	Риск очеловечивания моделей глубокого обуче­ния....587 14.2.2	Принципиальное различие между автоматом и интеллектом....589 14.2.3	Различие между локальным и экстремальным обобщением....591 14.2.4	Предназначение интеллекта....594 14.2.5	Восхождение по уровням обобщения....595 14.3	Курс на большую универсальность в ИИ....596 14.3.1	О важности постановки правильной цели: правило короткого пути....596 14.3.2	Новая цель....599 14.4	Реализация интеллекта: недостающие ингредиенты....601 14.4.1	Построение и использование абстрактных аналогий....601 14.4.2	Два полюса абстракции....603 14.4.3	Сочетание двух полюсов абстракции....606 14.4.4	Недостающая половина картинки....606 14.5	Будущее глубокого обуче­ния....608 14.5.1	Модели как программы....608 14.5.2	Машинное обуче­ние и синтез программ....610 14.5.3	Сочетание глубокого обуче­ния и синтеза программ....610 14.5.4	Непрерывное обуче­ние и повторное использование модульных подпрограмм....613 14.5.5	Долгосрочная перспектива....614 14.6	Как не отстать от прогресса в быстро развивающейся отрасли....616 14.6.1	Решения реальных задач на сайте Kaggle....616 14.6.2	Знакомство с последними разработками на сайте arXiv....616 14.6.3	Исследование экосистемы Keras....617 14.7	Заключительное слово....618 Приложение. Введение в Python для пользователей R....619 Предметный указатель....643