JavaScript для глубокого обучения: TensorFlow.js

От издательства....24 Об иллюстрации на обложке....23 Об авторах....22 Благодарности....17 Введение....15 Предисловие....13 Об этой книге....19 Для кого предназначено издание....19 Структура издания....20 О коде....21 Дискуссионный форум книги....21 Часть I. Актуальность и основные понятия....25 Глава 1. Глубокое обучение и JavaScript....26 1.1. Искусственный интеллект, машинное обучение, нейронные сети и глубокое обучение....29 1.1.1.	Искусственный интеллект....29 1.1.2.	Машинное обучение: отличия от традиционного программирования....30 1.1.3.	Нейронные сети и глубокое обучение....36 1.1.4.	Почему глубокое обучение? И почему именно сейчас?....40 1.2. Какой смысл в сочетании JavaScript и машинного обучения....42 1.2.1.	Глубокое обучение с помощью Node.js....49 1.2.2.	Экосистема JavaScript....50 1.3. Почему именно TensorFlow.js....52 1.3.1.	Краткая история TensorFlow, Keras и TensorFlow.js....52 1.3.2.	Почему именно TensorFlow.js: краткое сравнение с аналогичными библиотеками....56 1.3.3.	Как TensorFlow.js используется в мире....57 1.3.4.	Что вы узнаете о TensorFlow.js из этой книги, а что — нет....58 Упражнения....59 Резюме....60 Часть II. Введение в TensorFlow.js....61 Глава 2. Приступим: простая линейная регрессия в TensorFlow.js....62 2.1. Пример 1. Предсказание продолжительности скачивания с помощью TensorFlow.js....63 2.1.1.	Обзор проекта: предсказание продолжительности....63 2.1.2.	Примечания относительно листингов и команд консоли....64 2.1.3.	Создание и форматирование данных....65 2.1.4.	Описываем простую модель....68 2.1.5.	Подгонка модели к обучающим данным....71 2.1.6.	Используем обученную модель для предсказаний....74 2.1.7.	Резюме нашего первого примера....75 2.2. Внутреннее устройство Model.fit(): анализируем градиентный спуск из примера 1....76 2.2.1.	Основные идеи оптимизации на основе градиентного спуска....76 2.2.2.	Обратное распространение ошибки: внутри градиентного спуска....82 2.3. Множественная линейная регрессия....86 2.3.1.	Набор данных стоимости жилья в Бостоне....86 2.3.2.	Получаем из GitHub и запускаем проект Boston-housing....87 2.3.3.	Доступ к данным о бостонских ценах на недвижимость....89 2.3.4.	Точная формулировка задачи проекта Boston-housing....91 2.3.5.	Небольшое отступление: нормализация данных....93 2.3.6.	Линейная регрессия по набору данных Boston-housing....97 2.4. Интерпретация модели....101 2.4.1.	Выясняем смысл усвоенных весов....102 2.4.2.	Извлекаем из модели внутренние веса....103 2.4.3.	Нюансы интерпретируемости....104 Упражнения....105 Резюме....106 Глава 3. Вводим нелинейность: теперь не только взвешенные суммы....107 3.1. Нелинейность: что это такое и где может пригодиться....108 3.1.1.	Развиваем чутье на нелинейность в нейронных сетях....110 3.1.2.	Гиперпараметры и их оптимизация....118 3.2. Нелинейность на выходе модели: модели для классификации....121 3.2.1.	Бинарная классификация....122 3.2.2.	Измерение качества работы бинарных классификаторов: точность, полнота, безошибочность и кривые ROC....126 3.2.3.	Кривая ROC: наглядное представление соотношения плюсов и минусов при бинарной классификации....128 3.2.4.	Бинарная перекрестная энтропия....133 3.3. Многоклассовая классификация....137 3.3.1.	Унитарное кодирование категориальных данных....138 3.3.2.	Многомерная логистическая функция активации....140 3.3.3.	Категориальная перекрестная энтропия: функция потерь для многоклассовой классификации....142 3.3.4.	Матрица различий: детальный анализ многоклассовой классификации....144 Упражнения....146 Резюме....147 Глава 4. Распознавание изображений и звуковых сигналов с помощью сверточных сетей....149 4.1.	От векторов к тензорам: представление изображений....150 4.1.1.	Набор данных MNIST....151 4.2. Ваша первая сверточная нейронная сеть....152 4.2.1.	Слой conv2d....154 4.2.2.	Слой maxPooling2d....159 4.2.3.	«Лейтмотивы» свертки и субдискретизации....160 4.2.4.	Слои схлопывания и плотные слои....161 4.2.5.	Обучение сверточной сети....163 4.2.6.	Предсказания с помощью сверточной сети....168 4.3. Вне браузера: обучаем модели быстрее с помощью Node.js....171 4.3.1.	Зависимости и	импорты, необходимые для tfjs-node....171 4.3.2.	Сохранение модели из Node.js и загрузка ее в браузере....176 4.4. Распознавание устной речи....179 4.4.1.	Спектрограммы: представление звуков в виде изображений....179 Упражнения....185 Резюме....186 Глава 5. Перенос обучения: переиспользование предобученных нейронных сетей....187 5.1. Переиспользование предобученных моделей....188 5.1.1.	Перенос обучения при совместимых формах выходных сигналов: блокировка слоев....190 5.1.2.	Перенос обучения при несовместимых формах выходных сигналов: создание новой модели на основе выходных сигналов базовой модели....197 5.1.3.	Извлекаем максимум пользы из переноса обучения благодаря тонкой настройке: пример обработки аудиоданных....210 5.2. Обнаружение объектов с помощью переноса обучения для сверточной сети....222 5.2.1.	Задача обнаружения простых объектов на синтезированных изображениях....224 5.2.2.	Углубляемся в обнаружение простых объектов....225 Упражнения....234 Резюме....236 Часть III. Продвинутые возможности глубокого обучения с TensorFlow.js....237 Глава 6. Работа с данными....238 6.1. Работа с данными с помощью пространства имен tf.data....239 6.1.1.	Объект tf.data.Dataset....240 6.1.2.	Создание объекта tf.data.Dataset....240 6.1.3.	Доступ к данным в объекте Dataset....246 6.1.4.	Операции над наборами данных модуля tfjs-data....247 6.2. Обучение моделей с помощью model.fitDataset....252 6.3. Распространенные паттерны доступа к данным....258 6.3.1.	Работаем с форматом данных CSV....258 6.3.2.	Доступ к видеоданным с помощью метода tf.data.webcam()....264 6.3.3.	Доступ к аудиоданным с помощью API tf.data.microphone()....267 6.4. Вероятно, данные не без изъяна: обработка проблемных данных....270 6.4.1.	Теория данных....270 6.4.2.	Обнаружение и исправление проблем с данными....275 6.5. Дополнение данных....281 Упражнения....285 Резюме....285 Глава 7. Визуализация данных и моделей....287 7.1. Визуализация данных....288 7.1.1.	Визуализация данных с помощью tfjs-vis....288 7.1.2.	Комплексный практический пример: визуализация метеорологических данных с помощью tfjs-vis....298 7.2. Визуализация моделей после обучения....302 7.2.1.	Визуализация внутренних функций активации сверточной сети....305 7.2.2.	Визуализируем именно то, к чему чувствительны сверточные слои: наиболее активирующие изображения....309 7.2.3.	Визуальная интерпретация результата классификации изображения сверточной сетью....314 Материалы для дальнейшего чтения и изучения....316 Упражнения....316 Резюме....317 Глава 8. Недообучение, переобучение и универсальный технологический процесс машинного обучения....318 8.1. Постановка задачи предсказания температуры....319 8.2. Недообучение, переобучение и меры противодействия им....323 8.2.1.	Недообучение....323 8.2.2.	Переобучение....326 8.2.3.	Сокращаем переобучение за счет регуляризации весов и визуализируем эффект от нее....328 8.3. Универсальный технологический процесс машинного обучения....334 Упражнения....338 Резюме....338 Глава 9. Глубокое обучение для последовательностей и текста....339 9.1. Вторая попытка прогноза погоды: знакомство с RNN....341 9.1.1.	Почему плотные слои не способны моделировать упорядоченность....341 9.1.2.	Моделирование последовательного упорядочения с помощью RNN....343 9.2.	Создание моделей глубокого обучения для обработки текста....353 9.2.1.	Представление текста в машинном обучении: унитарное и федеративное кодирование....354 9.2.2. Первая попытка анализа тональностей....356 9.2.3.	Более эффективное представление текста — вложения слов....358 9.2.4. Одномерные сверточные сети....361 9.3. Решение задач преобразования последовательностей в последовательности с помощью механизма внимания....369 9.3.1.	Постановка задачи преобразования последовательности в последовательность....370 9.3.2.	Архитектура «кодировщик — декодировщик» и механизм внимания....372 9.3.3.	Заглянем глубже в модель «кодировщик-декодировщик», основанную на механизме внимания....376 Материалы для дальнейшего изучения....380 Упражнения....380 Резюме....382 Глава 10. Генеративное глубокое обучение....384 10.1. Генерация текста с помощью LSTM....385 10.1.1.	Предсказание следующего символа: простой способ генерации текста....386 10.1.2.	Пример LSTM-text-generation....388 10.1.3.	Температура: настройка степени стохастичности генерируемого текста....393 10.2. Вариационные автокодировщики: поиск экономичного структурированного векторного представления изображений....395 10.2.1.	Классический автокодировщик и VAE: основные понятия....396 10.2.2.	Подробный пример VAE: пример Fashion-MNIST....400 10.3. Генерация изображений с помощью GAN....407 10.3.1.	Основная идея GAN....409 10.3.2.	«Кирпичики» GAN....413 10.3.3.	Детальнее исследуем обучение ACGAN....417 10.3.4.	Обучение ACGAN для набора данных MNIST и генерация изображений в действии....421 Материалы для дальнейшего изучения....424 Упражнения....425 Резюме....425 Глава 11. Основы глубокого обучения с подкреплением....427 11.1. Постановка задач обучения с подкреплением....429 11.2. Сети стратегий и градиентный спуск по стратегиям: пример cart-pole....432 11.2.1.	Удержание шеста в равновесии в тележке как задача обучения с подкреплением....433 11.2.2.	Сети стратегий....435 11.2.3.	Обучение сети стратегий: алгоритм REINFORCE....438 11.3.	Оценочные сети и Q-обучение: пример игры «Змейка»....447 11.3.1.	«Змейка» как задача обучения с подкреплением....447 11.3.2.	Марковский процесс принятия решений и Q-значения....450 11.3.3.	Глубокая Q-сеть....454 11.3.4.	Обучение глубокой Q-сети....457 Материалы для дальнейшего изучения....471 Упражнения....472 Резюме....474 Часть IV. Резюме и заключительное слово....475 Глава 12. Тестирование, оптимизация и развертывание моделей....476 12.1. Тестирование моделей TensorFlow.js....477 12.1.1.	Традиционное модульное тестирование....478 12.1.2.	Тестирование с помощью «золотых значений»....481 12.1.3.	Соображения по поводу непрерывного обучения....484 12.2. Оптимизация модели....486 12.2.1.	Оптимизация размера модели посредством квантования весовых коэффициентов модели после обучения....486 12.2.2.	Оптимизация скорости выполнения вывода с помощью преобразования GraphModel....495 12.3. Развертывание моделей TensorFlow.js на различных платформах и в различных средах....501 12.3.1.	Дополнительные нюансы развертывания на веб-платформе....501 12.3.2.	Развертывание в облачных сервисах....502 12.3.3.	Развертывание в среде браузерного расширения, например, Chrome Extension....504 12.3.4.	Развертывание моделей TensorFlow.js в мобильных JavaScript-приложениях....506 12.3.5.	Развертывание моделей TensorFlow.js в межплатформенных приложениях для настольных компьютеров на JavaScript....508 12.3.6.	Развертывание моделей TensorFlow.js в WeChat и прочих системах плагинов мобильных приложений на основе JavaScript....510 12.3.7.	Развертывание моделей TensorFlow.js на одноплатных компьютерах....512 12.3.8.	Краткая сводка вариантов развертывания....513 Материалы для дальнейшего изучения....514 Упражнения....514 Резюме....516 Глава 13. Резюме, заключительные слова и дальнейшие источники информации....517 13.1. Обзор ключевых понятий....518 13.1.1.	Различные подходы к ИИ....518 13.1.2.	Почему глубокое обучение выделяется из всех прочих подобластей машинного обучения....519 13.1.3.	Общая картина глубокого обучения....520 13.1.4.	Ключевые технологии, благодаря которым возможно глубокое обучение....520 13.1.5.	Сферы применения и возможности, открываемые благодаря глубокому обучению на JavaScript....521 13.2. Краткий обзор технологического процесса глубокого обучения и алгоритмов в TensorFlow.js....523 13.2.1.	Универсальный технологический процесс машинного обучения с учителем....523 13.2.2.	Типы моделей и слоев в TensorFlow.js: краткий справочник....525 13.2.3.	Использование предобученных моделей в TensorFlow.js....531 13.2.4.	Спектр возможностей....533 13.2.5.	Ограничения глубокого обучения....536 13.3. Современные тенденции глубокого обучения....539 13.4. Рекомендации по дальнейшему изучению....540 13.4.1.	Отрабатывайте навыки решения реальных задач на Kaggle....541 13.4.2.	Читайте о последних новинках на arXiv....541 13.4.3.	Исследование экосистемы TensorFlow.js....542 Заключительные слова....542 Приложения....543 Приложение А. Установка библиотеки tfjs-node-gpu и ее зависимостей....544 A.1. Установка tfjs-node-gpu в Linux....544 A.2. Установка tfjs-node-gpu в Windows....547 Приложение Б. Краткое руководство по тензорам и операциям над ними в TensorFlow.js....549 Б.1. Создание тензоров и соглашения про их оси координат....549 Б.1.1.	Скаляры (тензоры ранга 0)....550 Б.1.2.	tensor1d (тензоры ранга 1)....552 Б.1.3.	tensor2d (тензоры ранга 2)....553 Б.1.4.	Тензоры ранга 3 и более высоких рангов....554 Б.1.5.	Понятие батчей данных....555 Б.1.6.	Примеры тензоров из практики....556 Б.1.7.	Создание тензоров из тензорных буферов....558 Б.1.8.	Создание тензоров, содержащих одних нули и одни единицы....559 Б.1.9.	Создание тензоров со случайными значениями....560 Б.2. Основные операции над тензорами....561 Б.2.1.	Унарные операции....562 Б.2.2.	Бинарные операции....564 Б.2.3	Конкатенация и срезы тензоров....565 Б.3. Управление памятью в TensorFlow.js: tf.dispose() и tf.tidy()....568 Б.4. Вычисление градиентов....571 Упражнения....574