Тестирование программного обеспечения: Контекстно-ориентированный подход

Предисловие....25 Введение....27 Добро пожаловать....28 Для кого эта книга....30 О чем эта книга....31 Чего в этой книге нет....32 Структура издания....32 Надеемся эта книга вызовет дискуссии и обсуждения....33 Несколько замечаний по лексикону....34 От издательства....36 Благодарности....37 Глава 1. Роль тестировщика....38 Урок 1. Вы свет фар проекта....38 Урок 2. Ваши цели управляют тем что вы делаете....39 Урок 3. Вы обслуживаете разных клиентов....40 Урок 4. То что вы обнаружили может быть багом с точки зрения людей мнение которых имеет значение....42 Урок 5. Быстро находите критические баги....42 Урок 6. Работайте вместе с программистами....43 Урок 7. Спрашивайте обо всем но не обязательно вслух....43 Урок 8. Сосредоточьтесь на отказах чтобы ваши клиенты могли фокусироваться на успехе....44 Урок 9. Вы никогда не найдете все баги в продукте....44 Урок 10. Опасайтесь завершенного тестирования....45 Урок 11. Вы не гарантируете качество с помощью тестирования....46 Урок 12. Никогда не будьте контролером!....46 Урок 13. Остерегайтесь выражения не моя работа....47 Урок 14. Старайтесь не превратиться в команду улучшения процесса....48 Урок 15. Не ждите что кто-то поймет что такое тестирование или что вам нужно для качественного выполнения работы....48 Глава 2. Мышление тестировщика....49 Урок 16. Тестирование это прикладная эпистемология....49 Урок 17. Изучение эпистемологии поможет вам тестировать лучше....50 Урок 18. Тестирование основано на когнитивной психологии....51 Урок 19. Тестирование происходит в вашей голове....52 Урок 20. Тестирование требует умозаключений а не просто сравнения выходных данных с ожидаемыми результатами....52 Урок 21. Хорошие тестировщики думают технически творчески критически и практически....53 Урок 22. Тестирование методом черного ящика это не тестирование основанное на незнании....54 Урок 23. Тестировщик больше чем турист....54 Урок 24. Любой тест это попытка ответить на какой-либо вопрос....55 Урок 25. Все тестирование основано на моделях....55 Урок 26. Интуиция хороша в начале и плоха в конце....56 Урок 27. Чтобы тестировать вы должны исследовать....56 Урок 28. Исследование требует многих размышлений....57 Урок 29. Используйте логику абдуктивного умозаключения чтобы найти гипотезы....58 Урок 30. Используйте логику гипотезы и опровержения для оценки продукта....59 Урок 31. Требование это качество или условие имеющее значение для тех кто принимает решение....60 Урок 32. Вы выясняете требования используя обсуждения умозаключения и справочные документы....60 Урок 33. Используйте как явные так и неявные спецификации....61 Урок 34. Это работает на самом деле означает что это в какой-то степени соответствует каким-то требованиям....62 Урок 35. В конце концов у вас есть лишь представление о продукте....63 Урок 36. Не путайте тесты и тестирование....63 Урок 37. При тестировании сложного продукта погружайтесь и откладывайте....64 Урок 38. Используйте эвристику чтобы быстро генерировать идеи тестирования....64 Урок 39. Избежать предубеждений невозможно но можно управлять ими....65 Урок 40. Вас труднее обмануть если вы знаете что вас можно обмануть....67 Урок 41. Если вы пропустили баг проверьте вышло ли это случайно или это естественный результат вашей стратегии тестирования....67 Урок 42. Замешательство инструмент тестирования....68 Урок 43. Ошибка видна свежим взглядом....68 Урок 44. Избегайте выполнения процедур в которых не уверены....69 Урок 45. Если вы создаете процедуры тестирования то опасайтесь 1287....69 Урок 46. Один из важных результатов процесса тестирования появление более компетентного и умного тестировщика....70 Урок 47. Вы не сможете освоить тестирование если не изобретете его заново....71 Глава 3. Техники тест-дизайна....72 Урок 48. При выборе техники тестирования нужно думать о тестировщиках покрытии потенциальных проблемах действиях и оценке....73 Урок 49. Техники ориентированные на людей направлены на того кто проводит тестирование....75 Урок 50. Техники основанные на покрытии направлены на то что тестируется....77 Урок 51. Проблемно-ориентированные техники направлены на причины тестирования (риски на которые вы тестируете)....82 Урок 52. Техники тестирования основанные на подходах к тестированию....84 Урок 53. Техники тестирования основанные на оценке направлены на то как вы оцениваете результаты теста....86 Урок 54. Классификация техники зависит от того как вы о ней думаете....87 Дополнение к техникам тест-дизайна....89 Как создать чек-лист для поля ввода....89 Как создать чек-лист для повторяющихся проблем....93 Как создать таблицу трассировки требований на основе спецификаций....95 Как проводить комбинированное тестирование с помощью техники попарного тестирования....97 Как проанализировать риски связанные с тем или иным элементом или аспектом программы....105 Глава 4. Защита багов....110 Урок 55. Вы то что вы пишете....110 Урок 56. Защита багов способствует их исправлению....111 Урок 57. Сделайте ваш баг-репорт эффективным инструментом продаж....111 Урок 58. Ваш отчет об ошибке это ваш представитель....112 Урок 59. Потратьте время на то чтобы сделать ваши баг-репорты ценными....113 Урок 60. Любой стейкхолдер должен иметь возможность сообщить о баге....114 Урок 61. Будьте осторожны меняя формулировки в баг-репортах других людей....114 Урок 62. Сообщайте о замеченных недостатках качества как о багах....115 Урок 63. Некоторые стейкхолдеры не могут сообщать о багах. Вы их доверенное лицо....115 Урок 64. Привлеките внимание стейкхолдера к спорным багам....115 Урок 65. Никогда не используйте систему отслеживания багов для контроля работы программистов....116 Урок 66. Никогда не используйте систему отслеживания багов при оценке эффективности тестировщика....117 Урок 67. Сообщайте об ошибках своевременно....117 Урок 68. Никогда не рассчитывайте на то что очевидный баг уже задокументирован....117 Урок 69. Сообщайте об ошибках проектирования....118 Урок 70. Ошибки переполнения могут привести к уязвимостям в системе безопасности....119 Урок 71. Не игнорируйте крайние случаи....120 Урок 72. Незначительные ошибки тоже ошибки....121 Урок 73. Различайте серьезность и приоритет....122 Урок 74. Отказ это симптом ошибки а не она сама....123 Урок 75. Проведите дополнительное тестирование казалось бы незначительных ошибок кода....123 Урок 76. Всегда сообщайте о невоспроизводимых ошибках; они могут оказаться бомбами замедленного действия....125 Урок 77. Невоспроизводимые баги воспроизводимы....126 Урок 78. Учитывайте стоимость обработки ваших баг-репортов....127 Урок 79. Особое внимание уделяйте багам связанным с инструментами или средой....128 Урок 80. Спросите прежде чем сообщать о багах в прототипах или ранних частных версиях....129 Урок 81. Дублирующиеся баг-репорты это самоисправляющаяся проблема....130 Урок 82. Каждый баг заслуживает отдельного отчета....131 Урок 83. Строка резюме самая важная в баг-репорте....132 Урок 84. Никогда не преувеличивайте свои баги....132 Урок 85. Сообщайте о проблеме недвусмысленно но не пытайтесь ее решить....133 Урок 86. Выбирайте интонацию. Каждый человек которого вы критикуете увидит отчет....134 Урок 87. Сделайте свои отчеты читабельными даже для людей которые устали и раздражены....135 Урок 88. Совершенствуйте навыки составления отчетов....135 Урок 89. При необходимости используйте рыночные данные или данные службы поддержки....136 Урок 90. Просматривайте баг-репорты друг друга....136 Урок 91. Познакомьтесь с программистами которые будут читать ваши отчеты....137 Урок 92. Наилучшим подходом может быть демонстрация багов программистам....137 Урок 93. Когда программист скажет что проблема исправлена убедитесь что это действительно так....138 Урок 94. Оперативно проверяйте исправление багов....138 Урок 95. Если исправления не работают то поговорите с программистом....139 Урок 96. Баг-репорты должны закрываться тестировщиками....139 Урок 97. Не настаивайте на том чтобы каждый баг был исправлен. Расставляйте приоритеты....140 Урок 98. Не позволяйте отложенным багам исчезнуть....140 Урок 99. Никогда не отказывайтесь от исправления ошибок только потому что это усложнит тестирование....141 Урок 100. Немедленно обжалуйте отсрочки по багам....141 Урок 101. Решив бороться стремитесь победить!....142 Глава 5. Автоматизированное тестирование....143 Урок 102. Ускорьте процесс разработки вместо того чтобы пытаться сэкономить несколько долларов на тестировании....144 Урок 103. Расширяйте свои возможности вместо того чтобы пытаться повторять одни и те же тесты снова и снова....146 Урок 104. Выберите стратегию автоматизации в зависимости от своего контекста....147 Урок 105. Не требуйте стопроцентной автоматизации....148 Урок 106. Инструмент тестирования это не стратегия....149 Урок 107. Не автоматизируйте беспорядок....150 Урок 108. Не приравнивайте ручное тестирование к автоматизированному....151 Урок 109. Не судите о ценности теста по частоте его проведения....152 Урок 110. Автоматизированные регрессионные тесты находят меньшую часть багов....153 Урок 111. Подумайте какие баги вы не обнаружите пока автоматизируете тесты....154 Урок 112. Проблема плохой автоматизации заключается в том что эту плохость никто не замечает....154 Урок 113. Учитывайте возможный сбой воспроизведения записи....156 Урок 114. Инструменты тестирования полны багов....158 Урок 115. Пользовательские интерфейсы меняются....159 Урок 116. Выбирайте средства тестирования GUI на основе совместимости хорошего владения и обслуживания....161 Урок 117. Автоматизированные регрессионные тесты становятся бесполезными....162 Урок 118. Автоматизация тестирования это процесс разработки программного обеспечения....163 Урок 119. Автоматизация тестирования подразумевает большие инвестиции....164 Урок 120. Проекты по автоматизации тестирования требуют навыков программирования тестирования и управления проектами....165 Урок 121. Используйте пилотные проекты чтобы доказать целесообразность....166 Урок 122. Поручите тестировщикам и программистам составить устав проектов автоматизации....167 Урок 123. Проектируйте автоматизированные тесты так чтобы их легко было проверить....167 Урок 124. Не экономьте на разработке автоматизированных тестов....168 Урок 125. Избегайте сложной логики в тестовых сценариях....168 Урок 126. Не создавайте библиотеки тестов только для того чтобы избежать повторения кода....169 Урок 127. Автоматизация тестирования на основе данных упрощает запуск множества вариантов теста....170 Урок 128. Автоматизация тестирования на основе ключевых слов позволяет непрограммистам легко создавать тесты....171 Урок 129. Автоматизируйте генерирование входных данных для тестов....172 Урок 130. Отделите создание теста от его выполнения....173 Урок 131. Используйте стандартные скриптовые языки....174 Урок 132. Автоматизируйте тестирование через программные интерфейсы....176 Урок 133. Поощряйте разработку наборов модульных тестов....178 Урок 134. Остерегайтесь привлекать к работе автоматизаторов которые не разбираются в тестировании....179 Урок 135. Избегайте автоматизаторов которые не уважают тестирование....180 Урок 136. Тестируемость часто является более выгодной инвестицией чем автоматизация....180 Урок 137. Тестируемость подразумевает наблюдение и контроль....181 Урок 138. Начинайте автоматизацию тестирования как можно раньше....183 Урок 139. Предоставьте централизованным командам автоматизации четкие уставы....184 Урок 140. Автоматизация в целях немедленного воздействия....185 Урок 141. У вас может быть больше инструментов тестирования чем вы думаете....186 Глава 6. Документирование тестирования....188 Урок 142. Чтобы эффективно применить решение вам необходимо четко понимать проблему....190 Урок 143. Не используйте шаблоны документации тестирования: шаблон не поможет если он вам не нужен....190 Урок 144. Используйте шаблоны документации тестирования: они способствуют поддержанию постоянной коммуникации....191 Урок 145. Используйте стандарт IEEE 829 для документации тестирования....191 Урок 146. Не используйте стандарт IEEE 829....192 Урок 147. Проанализируйте ваши требования прежде чем принимать решение о том какие продукты создавать; это относится как к документации так и к программному обеспечению....196 Урок 148. Чтобы проанализировать требования к документации тестирования задавайте вопросы....196 Урок 149. Обобщите свои основные требования к документации в одном предложении состоящем не более чем из трех компонентов....202 Глава 7. Взаимодействие с программистами....203 Урок 150. Поймите образ мышления программистов....204 Урок 151. Развивайте доверие программистов....205 Урок 152. Предоставляйте услуги....206 Урок 153. Ваша честность и компетентность потребуют уважения....206 Урок 154. Сосредоточьтесь на работе а не на человеке....208 Урок 155. Программисты любят рассказывать о своей работе. Задавайте им вопросы....209 Урок 156. Программисты рады помочь улучшить тестируемость....210 Глава 8. Управление проектом тестирования....212 Урок 157. Создайте культуру обслуживания....212 Урок 158. Не пытайтесь создать культуру контроля....213 Урок 159. Укрепляйте свое влияние....214 Урок 160. Вы руководите подпроектом который предоставляет услуги по тестированию а не проектом разработки....215 Урок 161. Все проекты развиваются. Хорошо управляемые развиваются активно....215 Урок 162. Поздние изменения будут всегда....216 Урок 163. Проекты предполагают компромисс между функциями надежностью временем и деньгами....217 Урок 164. Позвольте руководителю проекта выбрать его жизненный цикл....218 Урок 165. В водопадных жизненных циклах надежность противопоставляется времени....218 Урок 166. В эволюционных жизненных циклах функции противопоставляются времени....220 Урок 167. Будьте готовы выделять ресурсы на проект в ходе ранних этапов разработки....221 Урок 168. Разработка на основе контрактов отличается от разработки ориентированной на рынок....223 Урок 169. Задайте вопрос о характеристиках тестируемости....224 Урок 170. Согласовывайте графики сборки....224 Урок 171. Узнайте что программисты делают (и не делают) перед поставкой сборки....225 Урок 172. Будьте готовы к сборке....225 Урок 173. Иногда следует отказаться от тестирования сборки....225 Урок 174. Используйте смоук-тесты чтобы провести квалификацию сборки....226 Урок 175. Иногда правильное решение остановить цикл тестирования и исправления и спроектировать программное обеспечение заново....227 Урок 176. Адаптируйте свои процессы к фактически используемым практикам разработки....228 Урок 177. Проектные документы интересная выдумка: они полезны но их никогда не достаточно (Брайан Марик)....229 Урок 178. Не просите о предоставлении того чем не будете пользоваться....229 Урок 179. Воспользуйтесь другими источниками информации....229 Урок 180. Сообщайте руководителю проекта о проблемах управления конфигурацией....231 Урок 181. Программисты подобны торнадо....232 Урок 182. Тщательное планирование тестирования упрощает поздние изменения....233 Урок 183. Возможности тестирования открываются всякий раз когда один человек передает артефакт другому....234 Урок 184. Не существует универсальной формулы позволяющей определить достаточный объем тестирования....235 Урок 185. Достаточный объем тестирования означает достаточное количество информации для моих клиентов чтобы они могли принять взвешенное решение....235 Урок 186. Никогда не планируйте только два цикла тестирования....236 Урок 187. Создавая график для набора задач оцените количество времени необходимое для каждой из них....237 Урок 188. Время выполнения задачи должен определять исполнитель....238 Урок 189. Не существует правильного соотношения количества тестировщиков и других разработчиков....239 Урок 190. Меняйте задачи или переводите людей с задач с которыми они не справляются....240 Урок 191. Меняйте тестировщиков при работе над функциями....240 Урок 192. Попробуйте тестирование в парах....241 Урок 193. Назначьте в проект охотника за багами....242 Урок 194. Заведите устав сессий тестирования особенно исследовательского....243 Урок 195. Тестируйте сессиями....243 Урок 196. Используйте журналы активности чтобы выявить то что мешает тестировщикам работать....244 Урок 197. Регулярные отчеты о состоянии мощный инструмент....245 Урок 198. Нет никого опаснее чем вице-президент со статистикой....246 Урок 199. Будьте осторожны измеряя прогресс проекта с точки зрения количества багов....247 Урок 200. Чем больше независимых метрик покрытия вы используете тем больше знаете....248 Урок 201. Используйте сбалансированную систему показателей чтобы сообщать о состоянии по нескольким критериям....250 Урок 202. Рекомендуемая структура еженедельного отчета о состоянии....251 Урок 203. Информационная панель еще одно полезное средство для отображения состояния проекта....252 Урок 204. Отчеты о пройденных этапах полезны когда эти этапы четко определены....254 Урок 205. Не ставьте свою подпись в знак одобрения выпуска продукта....255 Урок 206. Поставьте свою подпись чтобы показать что вы протестировали продукт и остались довольны....255 Урок 207. Если вы пишете отчет о выпуске то описывайте проделанную работу по тестированию и ее результаты а не ваше мнение о продукте....255 Урок 208. Приведите список неисправленных багов в финальной версии отчета о выпуске....256 Урок 209. В полезном отчете о выпуске будут перечислены десять худших моментов которые могут заметить критики....256 Глава 9. Управление командой тестировщиков....257 Урок 210. Посредственность самоисполняющееся пророчество....258 Урок 211. Относитесь к своим сотрудникам как к руководителям....259 Урок 212. Читайте баг-репорты своих сотрудников....259 Урок 213. Оценивайте своих сотрудников как руководителей....260 Урок 214. Если вы действительно хотите знать что происходит выполняйте тестирование вместе с сотрудниками....262 Урок 215. Не ждите что люди будут эффективно управлять несколькими проектами....262 Урок 216. Повышайте уровень компетентности персонала в предметной области....263 Урок 217. Повышайте квалификацию сотрудников отдела тестирования в области соответствующих технологий....264 Урок 218. Активно работайте над повышением квалификации....264 Урок 219. Просматривайте журналы технической поддержки....264 Урок 220. Помогайте новым тестировщикам успешно работать....265 Урок 221. Попросите новых тестировщиков проверить документацию на соответствие программному обеспечению....265 Урок 222. Ознакомьте новых тестировщиков с продуктом используя положительное тестирование....266 Урок 223. Попросите начинающих тестировщиков редактировать старые баг-репорты прежде чем писать новые....266 Урок 224. Попросите новых тестировщиков повторно протестировать старые баги прежде чем поручать выявление новых....267 Урок 225. Не ставьте начинающих тестировщиков на почти готовые проекты....268 Урок 226. Моральное состояние сотрудников важный актив....269 Урок 227. Не позволяйте себе становиться объектом злоупотреблений....270 Урок 228. Не заставляйте персонал работать сверхурочно....271 Урок 229. Не допускайте грубого обращения с персоналом....272 Урок 230. Создавайте возможности для обучения....273 Урок 231. Ваши решения о найме самые важные....274 Урок 232. Нанимайте временных работников чтобы вы могли передохнуть пока идет набор персонала....274 Урок 233. Старайтесь не принимать в команду тестировщиков людей от которых отказались в других командах....274 Урок 234. Ставьте планы исходя из задач которые нужно решить в вашей команде и необходимых для этого навыков....275 Урок 235. Набирайте в команду людей с разным опытом....275 Урок 236. Нанимайте перспективных кандидатов....277 Урок 237. Нанимайте в результате консенсуса....277 Урок 238. Нанимайте людей которые любят свою работу....277 Урок 239. Нанимайте честных....278 Урок 240. Во время собеседования попросите тестировщика продемонстрировать навыки ради которых вы его нанимаете....278 Урок 241. На собеседовании в ходе неформальных тестов попросите тестировщика продемонстрировать навыки которые он действительно будет использовать в работе....278 Урок 242. При приеме на работу просите представить примеры работ....279 Урок 243. Нанимайте сразу после того как примете решение....279 Урок 244. Изложите свои обещания которые вы давали при приеме на работу в письменном виде и соблюдайте их....279 Глава 10. Ваша карьера в области тестирования программного обеспечения....280 Урок 245. Выберите направление карьерного роста и следуйте ему....281 Урок 246. Доходы тестировщиков могут быть выше чем доходы программистов....283 Урок 247. Не стесняйтесь изменить направление и заняться чем-то другим....284 Урок 248. Какое бы направление вы ни выбрали действуйте активно....284 Урок 249. Расширяйте свою карьеру за пределы тестирования программного обеспечения....285 Урок 250. Расширяйте свою карьеру за пределы компании....286 Урок 251. Конференции предназначены для обсуждений....286 Урок 252. Во многих других компаниях дела обстоят так же плохо как и в вашей....287 Урок 253. Если вам не нравится ваша компания то ищите другую работу....287 Урок 254. Будьте готовы к тому что вам придется поставить на кон свою работу (и проиграть)....288 Урок 255. Составьте список компаний в которых хотели бы работать и поддерживайте его в актуальном состоянии....288 Урок 256. Создайте портфолио....289 Урок 257. Используйте свое резюме как инструмент продажи....290 Урок 258. Получите рекомендацию сотрудника компании....291 Урок 259. Изучите данные о зарплатах....291 Урок 260. Если вы отвечаете на объявление то адаптируйте свой ответ....291 Урок 261. Пользуйтесь возможностью пройти собеседование....292 Урок 262. Узнавайте больше о компаниях подавая заявку на работу в них....292 Урок 263. Задавайте вопросы на собеседованиях....293 Урок 264. Ведите переговоры о вашей позиции....295 Урок 265. Будьте осторожны общаясь с сотрудниками отдела кадров....297 Урок 266. Изучайте язык Perl....297 Урок 267. Изучайте язык Java или C....298 Урок 268. Скачайте демонстрационные копии инструментов тестирования и опробуйте их в деле....298 Урок 269. Совершенствуйте навыки письма....298 Урок 270. Совершенствуйте навыки публичных выступлений....299 Урок 271. Подумайте о получении сертификата....299 Урок 272. Если вы смогли получить черный пояс всего за две недели лучше избегайте драк....301 Урок 273. Предупреждение о попытках лицензирования инженеров-программистов....301 Глава 11. Разработка стратегии тестирования....307 Урок 274. Три основных вопроса которые следует задать о стратегии тестирования: зачем? кому это важно? и сколько?....307 Урок 275. Существует множество возможных стратегий тестирования....308 Урок 276. Реальный тест-план это набор идей которые направляют процесс тестирования....309 Урок 277. Разрабатывайте тест-план в соответствии с контекстом....310 Урок 278. Используйте тест-план чтобы обозначить выбор стратегии логистики и результатов работы....311 Урок 279. Не позволяйте логистике и результатам работы затмить стратегию....312 Урок 280. Как тестовые сценарии позволяют лгать....312 Урок 281. Стратегия тестирования нечто большее чем тесты....313 Урок 282. Ваша стратегия объясняет суть тестирования....314 Урок 283. Применяйте различные полумеры....314 Урок 284. Развивайте компетенции и расширяйте ресурсы позволяющие реализовать эффективные стратегии тестирования....315 Урок 285. Ваша первая стратегия в проекте всегда неверна....316 Урок 286. На каждом этапе проекта спрашивайте себя: Что я могу протестировать сейчас и как я могу сделать это?....316 Урок 287. Тест на зрелость продукта....317 Урок 288. Используйте уровни тестирования чтобы упростить обсуждение сложности теста....320 Урок 289. Тестируйте методом серого ящика....321 Урок 290. Остерегайтесь культа предшественников при повторном использовании тестовых материалов....321 Урок 291. Два тестировщика работающие с одним и тем же продуктом скорее всего совершают разные действия....322 Урок 292. Разрабатывайте стратегию тестирования с учетом факторов проекта а также рисков продукта....323 Урок 293. Рассматривайте циклы тестирования как пульсацию процесса тестирования....324 Как разработать контекстно ориентированный тест-план....325 Тема 1. Мониторинг основных проблем связанных с планированием тестирования....325 Тема 2. Уточнение цели....326 Тема 3. Анализ продукта....327 Тема 4. Анализ рисков продукта....328 Тема 5. Разработка стратегии тестирования....329 Тема 6. Планирование логистики....331 Тема 7. Распространение плана....332 Насколько хорош этот тест-план?....333 Термины и понятия....333 Цели тест-плана....334 Критерии качества тест-плана....335 Эвристика тест-плана....335 Приложение. Контекстно ориентированный подход к тестированию программного обеспечения....340 Семь базовых принципов контекстно ориентированной школы....340 Описания принципов в действии....341 Пример....342 Состав контекстно ориентированной школы....343 Литература....344