Генеративное глубокое обучение: Как не мы рисуем картины, пишем романы и музыку. 2 изд

Предисловие....18 Вступление....19 Цели и подходы....20 Предварительные условия....21 Структура издания....21 Изменения во втором издании....23 Прочие ресурсы....24 Условные обозначения....25 Примеры кода....25 Использование программного кода примеров....26 Благодарности....27 От издательства....29 ЧАСТЬ I. ВВЕДЕНИЕ В ГЕНЕРАТИВНОЕ ГЛУБОКОЕ ОБУЧЕНИЕ....-1 Глава 1. Генеративное моделирование....31 Что такое генеративное моделирование....31 Генеративное и дискриминативное моделирование....33 Появление генеративного моделирования....35 Генеративное моделирование и ИИ....36 Наша первая генеративная модель....37 Привет мир!....37 Базовые принципы генеративного моделирования....39 Обучение представлению....41 Основы теории вероятностей....44 Классификация генеративных моделей....47 Код примеров генеративного глубокого обучения....48 Клонирование репозитория....49 Использование Docker....49 Применение графического процессора....49 Резюме....49 Глава 2. Глубокое обучение....51 Данные для глубокого обучения....51 Глубокие нейронные сети....53 Что такое нейронная сеть....53 Выявление высокоуровневых признаков....55 TensorFlow и Keras....56 Многослойный перцептрон....56 Подготовка данных....57 Конструирование модели....59 Компиляция модели....64 Обучение модели....65 Оценка модели....67 Сверточные нейронные сети (CNN)....69 Сверточные слои....69 Пакетная нормализация....75 Слои прореживания....78 Построение CNN....80 Обучение и оценка CNN....83 Резюме....84 ЧАСТЬ II. МЕТОДЫ....-1 Глава 3. Вариационные автокодировщики....87 Введение....88 Автокодировщики....89 Набор данных Fashion-MNIST....90 Архитектура автокодировщика....91 Автокодировщик....92 Декодировщик....93 Объединение кодировщика и декодировщика....96 Реконструкция изображений....97 Визуализация скрытого пространства....98 Генерирование новых изображений....99 Вариационный автокодировщик....102 Кодировщик....103 Функция потерь....109 Обучение вариационного автокодировщика....110 Анализ вариационного автокодировщика....112 Исследование скрытого пространства....113 Набор данных CelebA....114 Обучение вариационного автокодировщика....115 Анализ вариационного автокодировщика....117 Генерирование новых лиц....118 Арифметика скрытого пространства....119 Преобразование одного лица в другое....121 Резюме....122 Глава 4. Генеративно-состязательные сети....123 Введение....124 Глубокая сверточная GAN....126 Набор данных Bricks....126 Дискриминатор....127 Генератор....130 Обучение DCGAN....133 Анализ DCGAN....138 Обучение GAN: советы и рекомендации....139 Дискриминатор получает подавляющее преимущество перед генератором....139 Генератор получает подавляющее преимущество перед дискриминатором....140 Неинформативные потери....141 Гиперпараметры....142 Решение проблем генеративно-состязательных сетей....142 Генеративно-состязательные сети Вассерштейна со штрафом за градиент....142 Функция потерь Вассерштейна....143 Ограничение Липшица....144 Реализация ограничения Липшица....145 Функция потерь со штрафом за градиент....146 Обучение WGAN-GP....148 Анализ WGAN-GP....150 Условные генеративно-состязательные сети....151 Архитектура CGAN....152 Обучение CGAN....154 Анализ CGAN....155 Резюме....156 Глава 5. Модели авторегрессии....158 Введение....159 Сети с долгой краткосрочной памятью....160 Набор данных Recipes....161 Работа с текстовыми данными....162 Лексемизация....164 Создание набора обучающих данных....166 Архитектура модели LSTM....167 Слой Embedding....168 Слой LSTM....169 Ячейка LSTM....171 Обучение LSTM....173 Анализ LSTM....175 Расширения RNN....179 Многослойные рекуррентные сети....179 Управляемые рекуррентные блоки....180 Двунаправленные ячейки....182 PixelCNN....182 Маскированные сверточные слои....183 Остаточные блоки....185 Обучение PixelCNN....186 Анализ PixelCNN....188 Смесь распределений....190 Резюме....193 Глава 6. Модели нормализующих потоков....194 Введение....195 Нормализующие потоки....197 Замена переменных....197 Определитель якобиана....199 Уравнение замены переменных....200 RealNVP....201 Набор данных Two Moons....202 Слои связи....202 Обучение модели RealNVP....207 Анализ модели RealNVP....210 Другие модели нормализующего потока....212 GLOW....212 FFJORD....213 Резюме....214 Глава 7. Модели на основе энергии....215 Введение....215 Модели на основе энергии....217 Набор данных MNIST....218 Функция энергии....219 Выборка с использованием динамики Ланжевена....220 Обучение с контрастивной дивергенцией....223 Анализ модели на основе энергии....227 Другие модели на основе энергии....229 Резюме....230 Глава 8. Модели диффузии....231 Введение....232 Модели удаления шума....234 Набор данных Flowers....234 Процесс прямой диффузии....236 Трюк с перепараметризацией....237 Режимы диффузии....237 Процесс обратной диффузии....240 Модель удаления шума U-Net....243 Обучение диффузионной модели....250 Выборка из диффузионной модели удаления шума....251 Анализ модели....254 Резюме....257 ЧАСТЬ III. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ....-1 Глава 9. Трансформеры....261 Введение....262 GPT....262 Набор данных Wine Reviews....263 Внимание....264 Запросы ключи и значения....265 Многоголовое внимание....267 Причинно-следственная маскировка....268 Блок трансформера....271 Позиционное представление....274 Обучение GPT....276 Анализ GPT....277 Другие трансформеры....280 T5....281 GPT-3 и GPT-4....284 ChatGPT....286 Резюме....290 Глава 10. Продвинутые GAN....291 Введение....292 ProGAN....292 Прогрессивное обучение....293 Выходы....299 StyleGAN....300 Сеть отображения....302 Синтезирующая сеть....302 Вывод сети StyleGAN....303 StyleGAN2....305 Модуляция и демодуляция весов....306 Регуляризация длины пути....307 Вывод сети StyleGAN2....309 Другие важные генеративно-состязательные сети....310 Self-Attention GAN....310 BigGAN....312 VQ-GAN....313 ViT VQ-GAN....317 Резюме....318 Глава 11. Генерирование музыки....320 Введение....321 Генерирование музыки с помощью модели трансформера....322 Набор данных JS Bach Cello Suite....323 Парсинг MIDI-файлов....324 Кодирование....325 Создание обучающего набора....327 Синусоидальное позиционное кодирование....328 Несколько входов и выходов....329 Анализ трансформера генерирования музыки....331 Генерирование полифонической музыки....335 MuseGAN....339 Набор данных Bach Chorale....339 Генератор MuseGAN....342 Критик MuseGAN....348 Анализ сети MuseGAN....349 Резюме....351 Глава 12. Модели мира....353 Введение....353 Обучение с подкреплением....354 CarRacing....356 Обзор модели мира....358 Архитектура....358 Обучение....360 Сбор данных в ходе случайных прогонов....361 Обучение VAE....363 Архитектура VAE....363 Анализ VAE....365 Сбор данных для обучения RNN....367 Обучение сети MDN-RNN....367 Архитектура сети MDN-RNN....368 Выборка следующего состояния и вознаграждения из MDN-RNN....369 Обучение контроллера....370 Архитектура контроллера....370 CMA-ES....371 Параллельное выполнение алгоритма CMA-ES....373 Обучение в мнимом окружении....375 Резюме....378 Глава 13. Мультимодальные модели....379 Введение....380 DALL.E 2....381 Архитектура....381 Кодировщик....382 CLIP....382 Модель выборки....387 Декодировщик....389 Примеры изображений сгенерированных моделью DALL.E 2....393 Imagen....396 Архитектура....397 DrawBench....398 Примеры изображений созданных Imagen....399 Stable Diffusion....399 Архитектура....400 Примеры изображений созданных Stable Diffusion....401 Flamingo....401 Архитектура....402 Vision Encoder....402 Perceiver Resampler....403 Языковая модель....405 Примеры использования Flamingo....408 Резюме....409 Глава 14. Заключение....411 Хронология генеративного ИИ....412 2014–2017 годы — эпоха VAE и GAN....412 2018–2019 годы — эпоха трансформеров....414 2020–2022 годы — эпоха больших моделей....415 Текущее состояние генеративного ИИ....416 Большие языковые модели....416 Модели преобразования текста в программный код....420 Модели преобразования текста в изображение....422 Другие приложения....426 Будущее генеративного ИИ....428 Генеративный ИИ в повседневной жизни....428 Генеративный ИИ на рабочем месте....430 Генеративный ИИ в образовании....431 Практические и этические проблемы генеративного ИИ....432 Заключительные комментарии....435 Ссылки....437 Об авторе....443 Иллюстрация на обложке....444