Тестирование веб-API

Вступительное слово....15 Предисловие....17 Благодарности....18 О книге....20 Для кого эта книга....20 Новичкам в построении стратегии тестирования API....21 Улучшение существующей стратегии тестирования API....21 Реализация определенных методов тестирования....21 Структура книги....21 Часть 1. Разработка стратегии тестирования....21 Часть 2. Введение тестов в нашу стратегию....22 Часть 3. Расширение стратегии тестирования....22 Предварительные требования....22 HTTP....22 Java....23 О коде в книге....24 Restful-booker-platform....24 Источники, используемые в книге....24 Форум LiveBook....25 Об авторе....26 Иллюстрация на обложке....27 От издательства....28 Часть 1. Значение тестирования веб-API....29 Глава 1. Для чего и как мы тестируем веб-API....30 1.1. Что происходит в ваших веб-API....31 1.1.1. Собственная сложность веб-API....31 1.1.2. Сложность взаимодействия многих веб-API....33 1.2. Как тестирование помогает нам....33 1.2.1. Представление....34 1.2.2. Реализация....35 1.2.3. Значение тестирования....36 1.2.4. Стратегический подход к тестированию API....37 Итоги....39 Глава 2. Начинаем наш путь тестирования....41 2.1. Знакомство с продуктом....42 2.1.1. Знакомство с нашей API-песочницей....42 2.2. Знакомство с платформой restful-booker....43 2.2.1. Изучение продукта....44 2.2.2. Исследования за пределами продукта....51 2.3. Фиксация нашего понимания....54 2.3.1. Сила моделей....54 2.3.2. Построение собственных моделей....56 2.4. Поздравляю, вы уже тестируете!....58 Итоги....59 Глава 3. Качество и риски....60 3.1. Что такое качество....61 3.1.1. Характеристики качества....62 3.1.2. Знакомство с пользователями....64 3.1.3. Качество и определение целей для нашей стратегии....65 3.2. Выявление рисков для качества....67 3.2.1. Обучение выявлению рисков....68 3.2.2. Игра «Газетный заголовок»....68 3.2.3. Обходное тестирование....69 3.2.4. Техника RiskStorming....70 3.3. Первые шаги в реализации стратегии....74 3.3.1. Выбор правильного подхода к тестированию риска....75 Итоги....76 Часть 2. Разработка стратегии тестирования....77 Глава 4. Тестирование дизайна API....78 4.1. Как мы тестируем дизайн API....81 4.1.1. Инструменты для опроса....81 4.1.2. Расширение методов и инструментов тестирования дизайна API....87 4.2. Использование инструментов документирования API для тестирования дизайна....91 4.2.1. Документирование API с помощью Swagger / OpenAPI 3....92 4.2.2. Помимо документации....99 4.3. Стимулирование команды к тестированию дизайна API....100 4.3.1. Как получить возможность тестирования дизайна API....101 4.3.2. Использование регулярных встреч....101 4.3.3. Организация специальных встреч....102 4.4. Тестирование дизайна API как элемент стратегии....103 Итоги....104 Глава 5. Исследовательское тестирование API....106 5.1. Значение исследовательского тестирования....107 5.1.1. Цикл тестирования в исследовательском тестировании....107 5.2. Планирование исследования....109 5.2.1. Создание уставов....109 5.2.2. Уставы и сеансы исследовательского тестирования....112 5.2.3. Проведение исследовательского тестирования....112 5.3. Исследовательское тестирование: пример....114 5.3.1. Начало сеанса....114 5.3.2. Как понять, когда что-то не так....117 5.3.3. Придумывание идей для тестирования....119 5.3.4. Использование инструментов....122 5.3.5. Ведение записей....126 5.3.6. Уметь остановиться....128 5.3.7. Проведение собственного сеанса исследовательского тестирования....130 5.4. Делитесь своими находками....131 5.5. Исследовательское тестирование как часть стратегии....132 Итоги....134 Глава 6. Автоматизация тестирования веб-интерфейса API....135 6.1. Получение пользы от автоматизации....136 6.1.1. Иллюзии автоматизации....136 6.1.2. Автоматизация для выявления изменений....139 6.1.3. Пусть риск будет нашим проводником....140 6.2. Настройка инструмента автоматизации Web API....141 6.2.1. Зависимости....142 6.2.2. Структурирование фреймворка....143 6.3. Создание автоматизированных проверок API....145 6.3.1. Автоматическая проверка 1: GET-запрос....145 6.3.2. Автоматическая проверка 2: POST-запрос....147 6.3.3. Автоматизированная проверка 3: объединение запросов....153 6.3.4. Запуск автоматизированных тестов в качестве интеграционных....160 6.4. Использование автоматизации в стратегии тестирования....161 Итоги....162 Глава 7. Разработка и внедрение стратегии тестирования....164 7.1. Определение стратегии для конкретного контекста....165 7.1.1. Определение приоритетных задач....166 7.1.2. Разные стратегии для различных контекстов....169 7.2. Превращение стратегии тестирования в план тестирования....170 7.2.1. Понимание тестируемости контекста....171 7.2.2. Организация и документирование плана....175 7.2.3. Выполнение плана и его осмысление....177 7.2.4. Развитие стратегии....179 Итоги....179 Часть 3. Расширяем нашу стратегию тестирования....181 Глава 8. Продвинутая автоматизация веб-API....182 8.1. Разработка через приемочное тестирование....183 8.1.1. Настройка автоматизированного фреймворка для приемочного тестирования....184 8.1.2. Создание заведомо провальной автоматической проверки....186 8.1.3. Добиваемся прохождения автоматической проверки....190 8.1.4. Остерегайтесь ловушек....191 8.2. Моделирование (mocking) веб-API....192 8.2.1. Подготовка к работе....194 8.2.2. Построение смоделированной проверки....195 8.3. Выполнение в составе пайплайна....198 8.3.1. Автоматизация интегрирована с кодовой базой....198 8.3.2. Автоматизация в отдельном проекте....201 Итоги....203 Глава 9. Тестирование контрактов....204 9.1. Что такое тестирование контрактов и как оно помогает в работе....205 9.2. Настройка системы тестирования контрактов....207 9.2.1. Введение в Pact....208 9.3. Создание теста контракта потребителя....209 9.3.1. Добавление Pact к нашему классу....209 9.3.2. Создание проверки потребителя....210 9.3.3. Настройка и размещение информации в Pact Broker....213 9.4. Создание теста контракта поставщика....216 9.4.1. Реализация теста контракта поставщика....216 9.4.2. Тестирование изменений....218 9.5. Тестирование контрактов как часть стратегии тестирования....219 Итоги....220 Глава 10. Тестирование производительности....221 10.1. Планирование теста производительности....222 10.1.1. Типы тестов производительности....222 10.1.2. Виды показателей при проведении тестов производительности....224 10.1.3. Определение целей тестирования производительности и ключевых показателей эффективности (KPI)....225 10.1.4. Создание пользовательского потока (user flow)....228 10.2. Выполнение теста производительности....233 10.2.1. Настройка инструментов для тестирования производительности....233 10.2.2. Создание сценария тестирования производительности....235 10.3. Выполнение и оценка теста производительности....246 10.3.1. Подготовка и проведение теста производительности....246 10.3.2. Анализ результатов....249 10.4. Ожидания от тестирования производительности....252 Итоги....253 Глава 11. Тестирование безопасности....254 11.1. Работа с моделями угроз....255 11.1.1. Создание модели....256 11.1.2. Обнаружение угроз с помощью STRIDE....258 11.1.3. Создание деревьев угроз....262 11.1.4. Минимизация угроз....265 11.2. Использование философии безопасности при тестировании....267 11.2.1. Тестирование безопасности на этапе проектирования API....267 11.2.2. Исследовательское тестирование безопасности....268 11.2.3. Автоматизация и тестирование безопасности....273 11.3. Тестирование безопасности как часть стратегии....276 Итоги....277 Глава 12. Тестирование в продакшене ....279 12.1. Планирование тестирования в продакшене....280 12.1.1. Что отслеживать....281 12.1.2. Цели уровня обслуживания....282 12.1.3. Соглашения об уровне обслуживания....283 12.1.4. Показатели уровня обслуживания....284 12.1.5. Что сохранять....286 12.2. Настройка инструментов для проведения тестирования в продакшене....288 12.2.1. Настройка учетной записи Honeycomb....288 12.2.2. Добавление Honeycomb в API....289 12.2.3. Расширенные запросы....291 12.2.4. Создание триггеров SLO....294 12.3. Дальнейшее тестирование в продакшене....295 12.3.1. Тестирование с применением синтетических пользователей....295 12.3.2. Тестирование гипотез....297 12.4. Расширение стратегии за счет тестирования в продакшене....299 Итоги....300 Приложение. Установка платформы API-песочницы....302 Настройка платформы restful-booker....302