Базовая математика для искусственного интеллекта. Математика нового уровня для эффективных и успешных систем ИИ

Отзывы о книге "Базовая математика для искусственного интеллекта....16 Введение....18 Почему я написала эту книгу....18 Кому предназначена книга....20 Кому противопоказана книга....21 Как в книге представлена математика....21 Инфографика....23 Требования к математической подготовке для понимания материала книги....24 Краткий обзор глав....24 Мои любимые книги по искусственному интеллекту....29 Условные обозначения и соглашения....30 Примеры применения кода....31 Платформа онлайн-обучения O’Reilly....32 Как с нами связаться?....32 Благодарности....32 ГЛАВА 1. Почему так важно изучать математику искусственного интеллекта?....34 Что такое искусственный интеллект....35 Секрет популярности искусственного интеллекта....36 Возможности искусственного интеллекта....37 Конкретные задачи агента искусственного интеллекта....37 Ограничения искусственного интеллекта....39 Что происходит, когда системы искусственного интеллекта дают сбой....42 Направления развития искусственного интеллекта....42 Кто сегодня вносит основной вклад в развитие искусственного интеллекта....44 Какая математика используется в искусственном интеллекте....44 Итоги и перспективы....45 ГЛАВА 2. Данные, данные, данные....46 Данные для искусственного интеллекта....47 Реальные и имитационные данные....49 Математические модели: линейные и нелинейные....49 Пример реальных данных....51 Пример имитационных данных....54 Математические модели: симуляции и искусственный язык....57 Как получить данные....60 Словарь распределений данных, вероятностей, статистики....62 Случайные величины....63 Распределение вероятностей....63 Маргинальные (частные) вероятности....63 Равномерное и нормальное распределения....64 Условные вероятности и теорема Байеса....64 Условные вероятности и совместные распределения....64 Предварительное распределение, последующее распределение, функция правдоподобия....65 Смеси распределений....65 Суммы и произведения случайных величин....65 Использование графов для представления совместных распределений вероятностей....65 Ожидание, среднее значение, вариация, неопределенность....66 Ковариация и корреляция....66 Марковский процесс....67 Нормализация, масштабирование, стандартизация случайной переменной или набора данных....67 Общие примеры....68 Непрерывные и дискретные распределения (плотность us масса)....68 Сила совместной функции плотности вероятности....70 Распределение данных: равномерное распределение....71 Распределение данных: колоколообразное нормальное (гауссово) распределение....73 Распределение данных: другие важные и часто используемые распределения....76 Варианты значений слова "распределение....80 А/В-тестирование....81 Итоги и перспективы....82 ГЛАВА 3. Подгонка функций под данные....84 Лучшие традиционные модели машинного обучения....86 Численные и аналитические решения....88 Регрессия: предсказание числового значения....89 Обучающая функция....91 Функция потерь....93 Оптимизация....103 Логистическая регрессия: разделение на два класса....116 Обучающая функция....116 Функция потерь....117 Оптимизация....119 Регрессия softmax: классификация по нескольким категориям....119 Обучающая функция....121 Функция потерь....122 Оптимизация....123 Встраивание моделей в последний слой нейросети....124 Другие популярные методы машинного обучения и ансамбли методов....124 Машины опорных векторов....125 Деревья решений....129 Случайные леса....138 Кластеризация к средних....139 Показатели эффективности моделей классификации....139 Итоги и перспективы....141 ГЛАВА 4. Оптимизация нейронных сетей....144 Кора мозга и искусственные нейросети....144 Обучающая функция: полносвязные (плотные) нейросети с прямой связью....146 Нейросеть — это вычислительный граф, представляющий обучающую функцию....147 Линейная комбинация, добавление смещения и последующая активация....148 Основные функции активации....152 Универсальная аппроксимация функций....155 Теория аппроксимации в глубоком обучении....161 Функции потерь....161 Оптимизация....163 Математика и загадочный успех нейронных сетей....164 Градиентный спуск....165 Роль гиперпараметра скорости обучения г)....167 Выпуклые и невыпуклые ландшафты....170 Стохастический градиентный спуск....173 Инициализация весов в оптимизации....174 Методы регуляризации....175 Отсев....175 Ранняя остановка....176 Пакетная нормализация каждого слоя....176 Регулирование размера весов наложением штрафа на их норму....178 Наложение штрафа на нормы L2 и L1....180 Роль параметра а в регуляризации....181 Примеры гиперпараметров в машинном обучении....182 Цепное правило и обратное распространение ошибки: вычисление....183 Метод обратного распространения ошибки практически не отличается от того, как обучается наш мозг....184 Почему лучше использовать обратное распространение ошибки....185 Обратное распространение ошибки в деталях....185 Оценка значимости признаков входных данных....187 Итоги и перспективы....187 ГЛАВА 5. Сверточные нейронные сети и компьютерное зрение....190 Свертка и кросс-корреляция....191 Инвариантность и эквивариантность переноса....195 Свертка в обычном пространстве — это произведение в частотном пространстве....196 Свертка с точки зрения проектирования системы....196 Свертка и импульсная характеристика линейных и инвариантных по переносу систем....198 Свертка и одномерные дискретные сигналы....200 Свертка и двумерные дискретные сигналы....201 Фильтрация изображений....203 Карта признаков....206 Нотация линейной алгебры....207 Одномерный случай: умножение на матрицу Теплица....210 Двумерный случай: умножение на дважды блочно-циркулянтную матрицу....210 Пулинг....211 Сверточная нейросеть для классификации изображений....212 Итоги и перспективы....214 ГЛАВА 6. Сингулярное разложение: обработка изображений, обработка естественного языка и социальные сети....216 Факторизация матриц....217 Диагональные матрицы....220 Матрицы как линейные преобразования, действующие в пространстве....221 Воздействие А на правые сингулярные векторы....223 Воздействие А на стандартные единичные векторы и определяемый ими единичный квадрат....224 Воздействие А на единичную окружность....224 Преобразование окружности в эллипс методом сингулярного разложения....225 Матрицы поворота и отражения....226 Воздействие А на общий вектор х....227 Три способа умножения матриц....228 Большая картина....229 Число обусловленности и вычислительная устойчивость....231 Компоненты сингулярного разложения....231 Сингулярное и спектральное разложения....232 Вычисление сингулярного разложения....234 Численное вычисление собственного вектора....234 Псевдоинверсия....236 Применение сингулярного разложения к изображениям....237 Метод главных компонент и снижение размерности....240 Метод главных компонент и кластеризация....242 Приложение для социальных сетей....242 Латентно-семантический анализ....243 Рандомизированное сингулярное разложение....244 Итоги и перспективы....244 ГЛАВА 7. Искусственный интеллект для естественного языка и финансов: векторизация и временные ряды....246 Искусственный интеллект в обработке естественного языка....249 Подготовка данных естественного языка к машинной обработке....250 Статистические модели и логарифмическая функция....253 Закон Ципфа для подсчета терминов....254 Векторные представления документов на естественном языке....254 Векторное представление частоты термина документа или мешка слов....254 Векторное представление частоты термина и обратной частоты термина документа....255 Векторное представление тематики документа, определенной с помощью скрытого семантического анализа....256 Тематическое векторное представление документа, определенное с помощью латентного размещения Дирихле....260 Тематическое векторное представление документа, определенное с помощью латентного дискриминантного анализ....261 Смысловые векторные представления слов и документов, определяемые встроенными нейросетя....262 Косинусное сходство....269 Приложения для обработки естественного языка....270 Анализ настроений....270 Фильтрация спама....271 Поиск и извлечение информации....272 Машинный перевод....274 Создание подписей к изображениям....274 Чат-боты....274 Другие приложения....275 Трансформеры и модели внимания....275 Архитектура трансформера....276 Механизм внимания....279 Трансформеры далеки от совершенства....283 Сверточные нейросети для данных временных рядов....283 Рекуррентные нейросети для данных временных рядов....285 Как работает рекуррентная нейросеть....286 Управляемые рекуррентные блоки и блоки долгой краткосрочной памяти....287 Пример данных естественного языка....288 Финансовый искусственный интеллект....288 Итоги и перспективы....289 ГЛАВА 8. Вероятностные генеративные модели....290 Ценность генеративных моделей....291 Типичная математика генеративных моделей....293 Переключение мозга с детерминированного на вероятностное мышление....295 Оценка максимального правдоподобия....297 Явные и неявные модели плотности....299 Явно прослеживаемая плотность: полностью видимые сети доверия....300 Пример: генерация изображений с помощью PixelCNN и машинного звука с помощью WaveNet....300 Явно прослеживаемая плотность: нелинейный анализ независимых компонент с изменением переменных....303 Явно непрослеживаемая плотность: аппроксимация вариационных автокодировщиков вариационными методами....304 Явно непрослеживаемая плотность: аппроксимация машины Больцмана с помощью цепи Маркова....306 Неявная плотность — цепь Маркова: генеративная стохастическая сеть....306 Неявная плотность — направление: генеративно-состязательные сети....307 Принцип работы генеративно-состязательной сети....308 Пример: машинное обучение и генеративные сети для физики высоких энергий....310 Другие генеративные модели....313 Наивная байесовская модель классификации....314 Модель гауссовой смеси....315 Эволюция генеративных моделей....316 Сети Хопфилда....318 Машина Больцмана....318 Ограниченная машина Больцмана (явная плотность и трудноразрешимость)....318 Исходный автокодировщик....320 Вероятностное языковое моделирование....320 Итоги и перспективы....323 ГЛАВА 9. Графовые модели....324 Графы: узлы, грани и их признаки....326 Пример: алгоритм PageRank....329 Инверсия матриц с помощью графов....334 Графы Кэли для групп: чистая алгебра и параллельные вычисления....334 Передача сообщений внутри графа....335 Безграничные возможности применения графов....336 Сети головного мозга....337 Распространение заболеваний....338 Распространение информации....338 Обнаружение и отслеживание распространения фейков....339 Рекомендательные системы веб-масштаба....340 Борьба с онкологией....341 Биохимические графы....342 Генерация молекулярных графов для выявления структуры лекарственных препаратов и белков....343 Сети цитирования....343 Социальные медиасети и прогнозирование общественного воздействия....343 Социологические структуры....344 Байесовские сети....344 Прогноз трафика....344 Логистика и исследование операций....345 Языковые модели....345 Графовая структура Всемирной паутины....347 Автоматический анализ компьютерных программ....348 Структуры данных в вычислительной технике....348 Балансировка нагрузки в распределенных сетях....349 Искусственные нейросети....350 Случайные блуждания по графам....351 Обучение представлению узлов....353 Задачи для графовых нейросетей....354 Классификация узлов....354 Классификация графов....355 Кластеризация и обнаружение сообществ....355 Генерация графов....356 Максимизация влияния....356 Предсказание ссылок....356 Динамические графовые модели....357 Байесовские сети....358 Байесовская сеть как компактная таблица условных вероятностей....360 Создание предсказаний при помощи байесовской сети....360 Байесовские сети — это не каузальные сети, а сети доверия....361 Что нужно знать о байесовских сетях....361 Цепи, вилки и коллайдеры....362 Как создать байесовскую сеть для всех переменных из набора данных?....363 Графические диаграммы вероятностного каузального моделирования....364 Краткая история теории графов....366 Основные положения теории графов....368 Остовные деревья и кратчайшие остовные деревья....368 Наборы разрезов и разрезанные вершины....368 Планарность....369 Графы как векторные пространства....369 Реализуемость....370 Раскраска и сопоставление....370 Перечисление....371 Алгоритмы и вычислительные аспекты графов....371 Итоги и перспективы....372 ГЛАВА 10. Исследование операций....374 Отсутствие бесплатного обеда....376 Анализ сложности и нотация O()....377 Оптимизация — сердце исследования операций....380 Рассуждения об оптимизации....384 Оптимизация: конечные размерности без ограничений....384 Оптимизация: конечные размерности, ограниченные множители Лагранжа....385 Оптимизация: бесконечные размерности, вариационное исчисление....387 Оптимизация в сетях....392 Задача о коммивояжере....392 Минимальное остовное дерево....393 Кратчайший путь....394 Максимальный поток и минимальный разрез....395 Максимальный поток и минимальная стоимость....396 Метод критического пути для разработки проекта....397 Задача об П ферзях....397 Линейная оптимизация....398 Общая и стандартная формы....399 Визуализация задачи линейной оптимизации в двух измерениях....400 От выпуклости к линейности....401 Геометрия линейной оптимизации....403 Симплекс-метод....405 Транспортная задача и задача о назначении....412 Двойственность, релаксация Лагранжа, теневые цены, максимин, минимакс и все такое....413 Чувствительность....426 Теория игр и мультиагентные системы....426 Очередизация....428 Управление запасами....429 Машинное обучение в исследовании операций....429 Уравнение Гамильтона — Якоби — Веллмана....431 Исследование операций в искусственном интеллекте....431 Итоги и перспективы....432 ГЛАВА 11. Вероятность....434 Когда в книге встречается вероятность?....435 Что еще важно знать в области искусственного интеллекта?....438 Каузальное моделирование и исчисление do....432 Альтернативный метод: исчисление do....440 Парадоксы и интерпретация диаграмм....443 Парадокс Монти Холла....443 Парадокс Берксона....445 Парадокс Симпсона....445 Большие случайные матрицы....447 Примеры случайных векторов и случайных матриц....448 Основные положения теории случайных матриц....451 Ансамбли случайных матриц....452 Плотность собственных значений суммы двух больших случайных матриц....454 Базовая математика для больших случайных матриц....454 Стохастические процессы....455 Процесс Бернулли....457 Процесс Пуассона....457 Случайное блуждание....458 Процесс Винера, или броуновское движение....458 Мартингейл....459 Процесс Леви....460 Процесс ветвления....460 Цепь Маркова....460 Лемма Ито....461 Марковские процессы принятия решений и обучение с подкреплением....462 Примеры обучения с подкреплением....462 Обучение с подкреплением как марковский процесс принятия решений....463 Обучение с подкреплением в контексте оптимального управления и нелинейной динамики....465 Библиотека Python для обучения с подкреплением....465 Строгие теоретические основания....465 Какие события вероятны?....466 Возможен ли более широкий диапазон случайных величин?....467 Вероятностная тройка (пространство выборок, сигма-алгебра, мера вероятности)....468 В чем сложность?....469 Случайная величина, ожидание, интегрирование....469 Распределение случайной величины и теорема о замене переменной....471 Дальнейшие шаги в строгой теории вероятностей....471 Универсальная теорема для нейросетей....472 Итоги и перспективы....472 ГЛАВА 12. Математическая логика....474 Логические структуры....475 Пропозициональная логика....475 От нескольких аксиом к целостной теории....478 Кодирование логики внутри агента....479 Как сочетаются детерминированное и вероятностное машинное обучение?....479 Логика первого порядка....480 Отношения между кванторами существования и всеобщности....481 Вероятностная логика....483 Нечеткая логика....483 Темпоральная логика....484 Сравнение с естественным человеческим языком....485 Машины и сложные математические рассуждения....486 Итоги и перспективы....486 ГЛАВА 13. Искусственный интеллект и дифференциальные уравнения в частных производных....488 Что собой представляет дифференциальное уравнение в частных производных?....489 Моделирование с помощью дифференциальных уравнений....491 Модели различных масштабов....491 Параметры дифференциального уравнения в частных производных....492 Как изменение одного параметра в дифференциальном уравнении в частных производных может обернуться серьезными проблемами....493 Насколько полезен искусственный интеллект?....494 Численные решения обладают огромной ценностью....495 Непрерывные и дискретные функции....496 Дифференциальные уравнения в частных производных в моей докторской диссертации....498 Дискретизация и проклятие размерности....500 Метод конечных разностей....501 Метод конечных элементов....507 Вариационные или энергетические методы....512 Методы Монте-Карло....513 Немного статистической механики: замечательное основное уравнение....516 Решения как ожидания лежащих в основе случайных процессов....518 Преобразование дифференциального уравнения в частных производных....519 Преобразование Фурье....519 Преобразование Лапласа....521 Операторы решения....523 Пример использования уравнения теплопроводности....523 Пример использования уравнения Пуассона....525 Метод простой итерации....527 Искусственный интеллект применительно к дифференциальным уравнениям в частных производных....534 Глубокое обучение для нахождения значений физических параметров....534 Глубокое обучение для расчета сеток....535 Глубокое обучение для аппроксимации операторов решения дифференциальных уравнений в частных производных....537 Численные решения высокоразмерных дифференциальных уравнений....544 Моделирование природных явлений непосредственно из данных....546 Дифференциальное уравнение в частных производных Гамильтона — Якоби — Веллмана для динамического программирования....548 Дифференциальные уравнения в частных производных для искусственного интеллекта....553 Другие аспекты дифференциальных уравнений в частных производных....554 Итоги и перспективы....556 ГЛАВА 14. Искусственный интеллект, этика, математика, право и политика....558 Хороший искусственный интеллект....560 Вопросы политики....562 Что может пойти не так?....563 От математики к вооружению....563 Боевые отравляющие вещества....565 Искусственный интеллект и политика....565 Нежелательные результаты генеративных моделей....566 Как это исправить?....567 Решение проблемы недостаточной представленности в обучающих данных....567 Устранение погрешностей в векторах слов....567 Решение проблемы конфиденциальности....568 Решение проблемы справедливости....569 Встраивание моральных аспектов в искусственный интеллект....570 Демократизация и доступность искусственного интеллекта для неспециалистов....571 Установка приоритета на высококачественные данные....571 Отличие предвзятости от дискриминации....573 Излишняя шумиха....573 Заключительные размышления....574 Предметный указатель....576 Об авторе....591 Об изображении на обложке....592