MySQL 8 для больших данных. Эффективная обработка данных с помощью MySQL8, Hadoop, API NoSql и других инструментов для больших данных

Об авторах ........................................................................................................ 11О рецензентах ................................................................................................. 14Предисловие .........................................................................................................17Глава 1. Введение в большие данные и MySQL 8 ......................................21Важность больших данных ............................................................................ 22Социальные медиа ...................................................................................... 22Политика ...................................................................................................... 23Наука и исследование ................................................................................ 24Энергетика ................................................................................................... 24Обнаружение мошенничества ................................................................... 24Здравоохранение ........................................................................................ 25Бизнес-картирование ................................................................................. 25Жизненный цикл больших данных .............................................................. 26Объём .......................................................................................................... 27Разнообразие .............................................................................................. 27Скорость ...................................................................................................... 28Правдивость ............................................................................................... 28Фазы жизненного цикла больших данных .............................................. 28Структурированные базы данных .................................................................. 31Основы MySQL ................................................................................................. 32MySQL как реляционная СУБД .................................................................. 32Лицензирование .......................................................................................... 32Надежность и масштабируемость ......................................................... 33Совместимость платформ .......................................................................... 33Выпуски ........................................................................................................ 33Новые возможности в MySQL 8 ...................................................................... 33Транзакционный словарь данных .......................................................... 34Роли .............................................................................................................. 35Автоинкремент InnoDB .............................................................................. 35Поддержка невидимых индексов ............................................................ 36Улучшение индексов по убыванию ......................................................... 36SET PERSIST ................................................................................................. 36Расширенная поддержка ГИС .................................................................... 36Кодировка символов по умолчанию ...................................................... 37Улучшение побитовых операций ............................................................. 37InnoDB Memcached ...................................................................................... 37NOWAIT и SKIP LOCKED ............................................................................. 37Преимущества использования MySQL ......................................................... 38Безопасность ............................................................................................... 38Масштабируемость .......................................................................................... 38Реляционная СУБД с открытым исходным кодом ....................................... 39Высокая производительность ......................................................................... 39Высокая доступность ..................................................................................... 39Кросс-платформенность ................................................................................ 39Инсталляция MySQL 8Получение MySQL 8 ....................................................................................... 40Установка MySQL 8 ....................................................................................... 40Служебные команды MySQL ......................................................................... 41Эволюция MySQL для больших данныхПолучение данных в MySQL ......................................................................... 43Организация данных в Hadoop ...................................................................... 43Аналитическая обработка данных .............................................................. 43Результаты анализа ....................................................................................... 43Резюме ...................................................................................................... 44Глава 2. Методы запроса данных в MySQL 8 ........................................... 45Обзор SQL ...................................................................................................... 45Подсистемы хранения и их разновидности .............................................. 46InnoDB ......................................................................................................... 48MyISAM ....................................................................................................... 49Memory ........................................................................................................ 50Archive ......................................................................................................... 50Blackhole ..................................................................................................... 51CSV .............................................................................................................. 51Merge .......................................................................................................... 51Federated .................................................................................................... 52NDB Cluster ................................................................................................ 53Работа с SQL-операторамиОператор SELECT ....................................................................................... 54Условие WHERE .......................................................................................... 54Сортировка ORDER BY ............................................................................... 56Ограничение LIMIT ..................................................................................... 57Соединения (JOIN) ....................................................................................... 57UNION .......................................................................................................... 59Оптимизация и модификацияОптимизация запросов SELECT .............................................................. 60Операторы INSERT, REPLACE, UPDATE .............................................. 62INSERT ...................................................................................................... 62UPDATE ..................................................................................................... 62REPLACE ................................................................................................... 62Транзакции и агрегированиеТранзакции в MySQL 8 .................................................................................. 63Агрегирование данных ................................................................................ 63Важность агрегатных функций ............................................................. 64Работа с JSONJSON в MySQL ................................................................................................. 66JSON_OBJECTAGG .................................................................................... 67JSON_ARRAYAGG ..................................................................................... 68Резюме ...................................................................................................... 70Глава 3. Индексирование данных для высокопроизводительных запросов ............... 71Индексирование в MySQL ............................................................................. 72Индексные структуры ................................................................................... 72Создание или удаление индексов ................................................................ 75Типы индексов СУБД MySQL 8 ..................................................................... 78Определение первичного индекса ...................................................... 78Уникальные ключи ................................................................................... 80Определение столбцового индекса .................................................... 80Полнотекстовая индексация ........................................................................ 85Пространственные индексы ......................................................................... 89Индексирование данных JSON ..................................................................... 90Генерируемые столбцы ........................................................................... 90Определение индексов на JSON .......................................................... 92Резюме ...................................................................................................... 94Глава 4. Использование Memcached в MySQL 8 ........................................... 95Обзор Memcached .......................................................................................... 95Настройка плагина Memcached ................................................................... 97Инсталляция ............................................................................................. 97Верификация ............................................................................................ 98Использование плагина Memcached ......................................................... 99Наладчик производительности ........................................................... 99Инструмент кеширования ...................................................................... 99Простота в использовании ..................................................................... 99Анализ хранящихся в Memcached данных ................................................ 100Конфигурирование репликации Memcached ............................................ 101API Memcached для различных технологий ............................................ 103Memcached с Java .................................................................................. 103Memcached с PHP .................................................................................. 105Memcached с Ruby ................................................................................. 105Memcached с Python .............................................................................. 106Резюме .................................................................................................... 106Глава 5. Разделение больших объемов данных ........................................ 107Разделение данных в MySQL 8 ................................................................... 108Что такое разделение данных? ......................................................... 108Типы разделения данных ....................................................................... 109Горизонтальное разделение в MySQL 8 .................................................. 109Диапазонное разделение ...................................................................... 110Списковое разделение ........................................................................... 112Хеш-разделение ..................................................................................... 112Столбцовое разделение ......................................................................... 114Разделение по ключу ............................................................................ 116Разбиение на подразделы ...................................................................... 117Вертикальное разделение .......................................................................... 118Разделение больших объемов данных.......................................................... 107Разделение данных на многочисленные таблицы ....................................... 119Подрезание разделов в MySQL ....................................................................... 122Подрезание со списковым разделением .............................................. 125Подрезание с разделением по ключу .................................................. 125Выполнение запросов на разделённых данных ......................................... 126Запрос DELETE с параметром PARTITION ............................................ 128Запрос UPDATE с параметром PARTITION ............................................ 129Запрос INSERT с параметром PARTITION ............................................. 129Резюме .......................................................................................................... 130Глава 6. Репликация для построения высокодоступных решений ............. 131Высокая доступность ....................................................................................... 131Репликация в MySQL ...................................................................................... 132Кластер MySQL ...................................................................................... 132Облачная служба Oracle MySQL .......................................................... 133MySQL с кластером Solaris .................................................................... 133Репликация с помощью MySQL ........................................................................ 134Преимущества репликации в MySQL 8 .............................................. 134Методы репликации в MySQL 8 .......................................................... 135Конфигурация репликации ................................................................... 135Групповая репликация ................................................................................ 148Предварительные условия .................................................................... 149Конфигурирование групповой репликации ....................................... 149Пользователь репликации и активация плагина .................................. 151Запуск групповой репликации ........................................................... 152Резюме .......................................................................................................... 153Глава 7. Практические рекомендации по работе с MySQL 8 ................... 154Сравнительные испытания и конфигурации MySQL ..................................... 155Использование ресурсов ...................................................................... 155Увеличение длительности нагрузочных тестов ................................ 155Репликация параметров производственной среды ........................... 156Пропускная способность и задержка ................................................ 156Возможности Sysbench ........................................................................ 156Мир виртуализации ............................................................................... 156Параллелизм .......................................................................................... 156Фоновая нагрузка .................................................................................. 157Суть вашего запроса ............................................................................. 157Сравнительные испытания ................................................................... 157Рекомендации в отношении вопросов MySQL ..................................... 159Типы данных .......................................................................................... 159Not Null .................................................................................................... 160Индексация ............................................................................................. 160Извлекайте все данные ......................................................................... 161Практические рекомендации по работе с MySQL 8 ................. 154Приложение сделает работу ......................................................................... 161Существование данных .................................................................................. 161Ограничивайте себя ......................................................................................... 161Анализируйте медленные запросы ............................................................. 161Стоимость запроса ......................................................................................... 161Рекомендации в отношении конфигурации Memcached ...................... 162Распределение ресурсов ........................................................................ 162Архитектура операционной системы ................................................... 162Конфигурации по умолчанию ............................................................... 162Максимальный размер объекта ............................................................. 163Ограничение очереди незавершённых заданий .................................. 163Поддержка больших страниц ................................................................. 163Конфиденциальные данные ..................................................................... 163Ограничение открытости ......................................................................... 163Отказоустойчивость ................................................................................. 164Пространства имён .................................................................................. 164Механизм кеширования .......................................................................... 164Общая статистика Memcached ............................................................... 164Рекомендации в отношении репликации ............................................. 166Пропускная способность в групповой репликации ............................ 166Определение размеров инфраструктуры ............................................ 166Постоянная пропускная способность ................................................... 166Неподходящая нагрузка ............................................................................ 166Масштабируемость операции записи .................................................. 167Резюме ........................................................................................................ 167Глава 8. Прикладной программный интерфейс NoSQL для интеграции с решениями для больших данных ............................................................................ 169Обзор NoSQL ................................................................................................... 169Быстрое изменение с течением времени ................................................... 170Масштабирование ......................................................................................... 170Меньше управленческой деятельности ................................................... 170Лучше для больших данных ......................................................................... 171NoSQL против SQL ......................................................................................... 171Реализация API NoSQL ............................................................................ 171NoSQL со слоем API Memcached ........................................................... 172NDB API Cluster ....................................................................................... 178Резюме ........................................................................................................ 189Глава 9. Практический пример: часть I. Apache Sqoop для обмена данными между MySQL и платформой Hadoop ....................................................... 190Практический пример анализа журналов операций .................................. 191Использование MySQL 8 и Hadoop для анализа журналов операций ........ 191Обзор Apache Sqoop ...................................................................................... 192Интеграция Apache Sqoop с MySQL и Hadoop ............................................. 194Hadoop ............................................................................................................. 194Практический пример: часть I. Apache Sqoop для обмена данными между MySQL и платформой Hadoop ................. 190Настройка Hadoop в Linux .......................................................................... 196Инсталляция Apache Sqoop ......................................................................... 198Конфигурирование коннектора MySQL .................................................... 199Импортирование неструктурированных данных в Hadoop HDFS из MySQL ... 199Импорт Sqoop для извлечения данных из MySQL 8 ................................. 199Инкрементный импорт с использованием Sqoop .................................... 202Загрузка структурированных данных в MySQL с помощью Apache Sqoop ... 202Экспорт Sqoop для хранения структурированных данных в MySQL 8 .... 202Сохранённые задания Sqoop ....................................................................... 204Резюме ..................................................................................................... 205Глава 10. Практический пример: часть II. Обработка событий в режиме реального времени с помощью MySQL Applier ............. 206Обзор практического примера ..................................................................... 206MySQL Applier .............................................................................................. 208Дамп и импорт SQL ..................................................................................... 208Sqoop ............................................................................................................. 209Репликатор Tungsten ................................................................................... 209Apache Kafka .................................................................................................. 209Talend ............................................................................................................. 210Dell Shareplex ................................................................................................ 210Сравнение инструментов ............................................................................. 210Обзор MySQL Applier .................................................................................. 210Инсталляция MySQL Applier ................................................................. 212Интеграция в режиме реального времени с MySQL Applier .............. 214Организация и анализ данных в Hadoop .............................................. 216Резюме ......................................................................................................... 218Предметный указатель ................................................................................. 219