Excel c Python и R: Раскройте потенциал расширенной обработки и визуализации данных

Предисловие....17 Кому адресована эта книга....17 Структура издания....17 Как извлечь максимальную пользу из книги....18 Загрузка файлов с примерами кода....19 Условные обозначения....19 От издательства....20 Об авторах....14 О научных редакторах....15 Часть I. Основы: чтение и запись файлов Excel на R и Python....21 Глава 1. Чтение данных из электронных таблиц Excel....22 Технические требования....23 Обработка данных Excel с помощью пакетов R....24 Чтение файлов Excel в среду R....25 Установка и загрузка библиотек....25 Чтение нескольких листов с помощью readxl и пользовательской функции....28 Пакеты Python для работы с Excel....31 Пакеты Python для работы с данными Excel....32 Факторы, которые следует учесть при выборе пакета....32 Открытие листа Excel из среды Python и чтение данных....33 Использование пакета pandas....33 Использование пакета openpyxl....34 Чтение нескольких листов с помощью Python (openpyxl и пользовательских функций)....36 Важность чтения нескольких листов....36 Использование пакета openpyxl для получения доступа к листам....37 Чтение данных с каждого листа....37 Получение данных из листа с помощью пакета openpyxl....37 Объединение данных из нескольких листов....38 Пользовательская функция для чтения нескольких листов....39 Настройка кода....39 Резюме....43 Глава 2. Запись данных в электронные таблицы Excel....44 Технические требования....45 Пакеты для записи данных в файлы Excel....45 Пакет writexl....45 Пакет openxlsx....46 Пакет xlsx....47 Развернутый обзор и выводы....51 Создание листов Excel и работа с ними с помощью Python....53 Зачем экспортировать данные в Excel....53 Простой экспорт данных в Excel с помощью pandas....53 Использование пакета openpyxl для манипулирования данными в Excel....55 Создание новой рабочей книги....55 Добавление листов в рабочую книгу....55 Удаление листа....56 Выполнение различных действий с существующей рабочей книгой....57 Выбор между openpyxl и pandas....58 Прочие альтернативы....59 Резюме....59 Глава 3. Запуск кода VBA из среды R и Python....60 Технические требования....61 Установка и описание R-пакета RDCOMClient....61 Установка RDCOMClient....63 Выполнение кода VBA с помощью RDCOMClient....63 Интеграция VBA с Python с помощью pywin32....66 Зачем запускать код VBA из среды Python....66 Настройка среды....67 Обработка ошибок, возникающих при настройке среды....69 Написание и выполнение кода VBA....70 Автоматизация задач в Excel....73 Плюсы и минусы запуска кода VBA из среды Python....75 Резюме....76 Глава 4. Дальнейшая автоматизация: планирование задач и электронной рассылки....77 Технические требования....78 Установка библиотеки tasksheduleR и знакомство с ней....78 Создание сценариев....79 Использование пакета RDCOMClient с Outlook....81 Использование пакетов Microsoft365R и blastula....82 Пакет Microsoft365R....82 Пакет blastula....83 Запланированный запуск сценариев Python....85 Важность запланированного запуска сценариев Python....86 Встроенные инструменты для планирования заданий....87 Сторонние библиотеки для планирования задач....88 Рекомендации по обеспечению надежной автоматизации....92 Электронные уведомления и автоматизация с помощью Python....94 Важность использования электронных уведомлений в сценариях Python....94 Настройка служб электронной почты....95 Отправка простых электронных писем....97 Отправка электронных уведомлений о состоянии сценария....99 Резюме....101 Часть II. Наводим красоту: форматирование, графики и многое другое....102 Глава 5. Форматирование листа Excel....103 Технические требования....103 Установка и использование R-пакета styledTables....104 Установка и использование R-пакета basictabler....105 Расширенные возможности форматирования с помощью Python....111 Форматирование ячеек....111 Условное форматирование....115 Сводные таблицы....118 Резюме....122 Глава 6. Вставка графиков ggplot2/matplotlib....123 Технические требования....123 Области применения визуализации данных....123 Визуализация данных с помощью пакета ggplot2....125 Визуализация данных с помощью пакета cowplot....130 Столбчатые диаграммы....133 Создание столбчатых диаграмм с помощью пакета ggplot2....134 Гантельные диаграммы....137 Создание гантельных диаграмм с помощью пакета ggplot2....138 Знакомство с библиотеками для визуализации данных....139 plotnine — элегантная грамматика графики....140 matplotlib — классические и настраиваемые графики....140 plotly — интерактивные визуализации....140 seaborn — визуализация статистических данных....141 Создание графиков с помощью plotnine....141 Концепция грамматики графики....141 Создание различных типов графиков....142 Настройка визуальных элементов графика plotnine....148 Добавление дополнительных слоев....149 Создание графиков с помощью matplotlib....153 Настройка визуальных элементов графика matplotlib....159 Встраивание визуализаций в файлы Excel....164 Базовый процесс встраивания визуализаций....164 Резюме....166 Глава 7. Сводные таблицы....167 Технические требования....167 Знакомство со сводными таблицами....167 Создание таблицы с помощью R-функции xtabs....169 Создание таблицы с помощью R-пакета gt....170 Создание сводных таблиц с помощью R-пакета tidyquant....173 Создание сводных таблиц на Python и управление ими с помощью win32com и pywin32....175 Настройка среды Python....175 Создание сводных таблиц....175 Работа со сводными таблицами....178 Группировка данных в сводных таблицах....179 Резюме....182 Часть III. Разведочный, статистический анализ данных и анализ временных рядов....183 Глава 8. Разведочный анализ данных с помощью R и Python....184 Технические требования....185 Анализ данных с помощью R-пакета skimr....186 Использование R-пакета GGally....188 Использование R-пакета DataExplorer....190 Очистка данных Excel в среде Python....193 Обработка отсутствующих значений....194 Обработка дубликатов....196 Преобразование типов данных....197 Проблемы, характерные для данных Excel....198 Выполнение разведочного анализа данных с помощью Python....198 Сводная статистика....198 Распределение данных....201 Взаимосвязи между переменными....205 Диаграммы рассеяния....207 Визуализация ключевых атрибутов....208 Резюме....208 Глава 9. Статистический анализ: линейная и логистическая регрессия....209 Технические требования....210 Линейная регрессия....210 Логистическая регрессия....210 Инструменты для реализации линейной и логистической регрессии....211 Выполнение линейной регрессии в среде R....211 Выполнение линейной регрессии с помощью базового функционала R....211 Выполнение линейной регрессии с помощью tidymodels и purrr....214 Выполнение логистической регрессии в среде R....216 Выполнение логистической регрессии с помощью базового функционала R....216 Выполнение логистической регрессии с помощью tidymodels....218 Выполнение линейной регрессии в среде Python с использованием данных Excel....222 Выполнение логистической регрессии в среде Python с использованием данных Excel....228 Резюме....232 Глава 10. Анализ временных рядов: статистика, графики и прогнозирование....233 Технические требования....235 Генерация случайных объектов временного ряда в среде R....235 Изменение параметров временного ряда....238 Создание временных рядов с помощью R....239 Создание и анализ графиков АКФ и ЧАКФ в среде R....242 Автоматический подбор параметров модели ARIMA с помощью библиотеки healthyR.ts....243 Моделирование броуновского движения с помощью библиотеки healthyR.ts....249 Анализ временных рядов в Python: статистика, графики и прогнозирование....251 Создание временных рядов: простые диаграммы и графики АКФ/ЧАКФ....252 График автокорреляционной функции (АКФ)....255 График частичной автокорреляционной функции (ЧАКФ)....255 Статистический анализ данных временных рядов....256 Тест ADF....256 Декомпозиция временного ряда....258 Подходы к прогнозному моделированию....260 Прогнозирование с помощью библиотеки statsmodels....260 Прогнозирование временных рядов с помощью библиотеки prophet....263 Прогнозирование временных рядов с помощью модели глубокого обучения LSTM....266 Резюме....269 Часть IV. Вызов кода R и Python из Excel....270 Глава 11. Локальный вызов кода R/Python из Excel напрямую или через API....271 Технические требования....272 Причины для локального вызова кода R/Python из Excel....272 Настройка среды....273 Настройка BERT для R....273 Настройка xlwings для Python....274 Вызов кода R/Python напрямую из Excel....275 Выполнение кода R с помощью макроса VBA и BERT....275 Взаимодействие с Excel через BERT....276 Вызов кода Python из Excel с помощью xlwings....277 Кнопка Выполнить....278 Макросы....279 Функции, определяемые пользователем....280 Знакомство с API....282 Решения с открытым исходным кодом, служащие для предоставления R в качестве конечной точки API....284 Пример open-source-решения, служащего для предоставления Python в качестве конечной точки API....289 Вызов API из редактора VBA приложения Excel....291 Плюсы и минусы решений, основанных на API....293 Коммерческие API-решения для R и Python....294 Azure Functions (и аналогичные решения других крупных облачных провайдеров)....295 Posit Connect....295 Платформа ownR Infinity....296 Резюме....296 Часть V. Анализ и визуализация данных в Excel с помощью R и Python на конкретном примере....298 Глава 12. Анализ и визуализация данных в Excel с помощью R и Python на конкретном примере....299 Технические требования....299 Создание визуализаций с помощью R....300 Получение данных....300 Визуализация данных....301 Создание простой модели машинного обучения с помощью R....308 Предварительная обработка данных....308 Создание визуализаций с помощью Python....311 Получение данных....311 Визуализация данных....312 Создание простой модели машинного обучения с помощью Python....318 Предварительная обработка данных....318 Резюме....322