🗊Презентация Принципы разработки тестов

Тема 5 Тема 5 «Принципы разработки тестов»

Тест-кейс (test case) – это Тест-кейс (test case) – это набор входных данных, условий выполнения и ожидаемых результатов, разработанный с целью проверки того или иного свойства или поведения программного средства.

Тест-кейс Тест – «триплет» Вход/Состояние/Выход – последовательность шагов/действий, которая переводит систему из одного состояния в другое Триплет ISO, где: [I] – is input data or action (входные данные или действия) [S] – is State of system at which data will be input (состояние системы, которая получает входные данные или воздействие) [O] – is the expected Output (ожидаемые Выход, выходные данные или выходной состояние системы) Выполненный с определенной Целью!

Чек-лист (check-list) – это Чек-лист (check-list) – это набор идей тестов.

Задание (см. следующий слайд)

Какие бывают тесты Основные виды тестов: позитивные; негативные. Направления тестирования: статическое; динамическое. Методы тестирования: чёрный ящик; белый ящик; серый ящик. Виды тестирования: инсталляционное; регрессионное; нового функционала; конфигурационное; совместимости; удобство использования; интернационалиазации; локализации; исследовательское.

Класс эквивалентности (equivalence class) – набор тестов, полное выполнение которого является избыточным и не приводит к обнаружению новых дефектов. Класс эквивалентности (equivalence class) – набор тестов, полное выполнение которого является избыточным и не приводит к обнаружению новых дефектов.

Признаки эквивалентности (несколько тестов эквивалентны, если): Признаки эквивалентности (несколько тестов эквивалентны, если): Они направлены на поиск одной и той же ошибки. Если один из тестов обнаруживает ошибку, другие её тоже, скорее всего, обнаружат. Если один из тестов НЕ обнаруживает ошибку, другие её тоже, скорее всего, НЕ обнаружат. Тесты используют схожие наборы входных данных. Для выполнения тестов мы совершаем одни и те же операции. Тесты генерируют одинаковые выходные данные или приводят приложение в одно и то же состояние. Все тесты приводят к срабатыванию одного и того же блока обработки ошибок («error handling block»). Ни один из тестов не приводит к срабатыванию блока обработки ошибок («error handling block»).

Граничные условия (border conditions) – это те места, в которых один класс эквивалентности переходит в другой. Граничные условия (border conditions) – это те места, в которых один класс эквивалентности переходит в другой.

Пример Проверить реакцию приложения на ввод слишком короткого (менее трёх символов) или слишком длинного (более 20-ти символов) имени пользователя, которое может содержать только английские буквы, цифры и знак подчёркивания.

И ещё один пример. Для обсуждения! «Чтобы добавить файл в свою фотогалерею на сайте, пользователь должен кликнуть по кнопке Открыть, выбрать файл и кликнуть по кнопке OK». Давайте абстрагируемся от пользовательского интерфейса и подумаем о файле. Какие случаи нам надо будет проверить?

Выводы Выводы Классы эквивалентности не всегда очевидны. Как правило, негативных тестов получается больше, чем позитивных. Принадлежность теста к позитивным или негативным зависит от требований.

Рекомендации по разработке тестов Рекомендации по разработке тестов Начинайте с простых очевидных тестов. Затем переходите к более сложным тестам. Помните о граничных условиях. Если остаётся время, занимайтесь исследовательским тестированием.

Последовательность разработки и выполнения тестов Последовательность разработки и выполнения тестов Простые позитивные. Простые негативные. Сложные позитивные. Сложные негативные.

Документирование тестов

Свойства хорошего тест-кейса Хороший тест-кейс удовлетворяет следующим критериям: Обладает высокой вероятностью обнаружения ошибки. Исследует соответствующую («ту, которую надо») область приложения. Выполняет какие-то интересные действия. Не выполняет ненужных действий. Является не слишком простым, но и не слишком сложным. Не является избыточным по отношению к другим тестам. Делает обнаруженную ошибку очевидной. Позволяет легко диагностировать ошибку.

Тестовый сценарий (test scenario) – набор тестов (тест-кейсов), собранных в последовательность для достижения некоторой цели. Тестовый сценарий (test scenario) – набор тестов (тест-кейсов), собранных в последовательность для достижения некоторой цели.

Какой инструментарий используется на вашем проекте для создания, хранения и управления test cases?

Тестовые сценарии: рекомендации

1. Начинайте как можно раньше, ещё до выхода первого билда. 1. Начинайте как можно раньше, ещё до выхода первого билда.

2. Разбивайте приложение на отдельные части/модули. 2. Разбивайте приложение на отдельные части/модули.

3. Для каждой области/модуля пишите чек-лист. 3. Для каждой области/модуля пишите чек-лист.

4. Пишите вопросы, уточняйте детали, добавляйте «косметику», используйте copy-paste. 4. Пишите вопросы, уточняйте детали, добавляйте «косметику», используйте copy-paste.

5. Получите рецензию коллег-тестировщиков, разработчиков, заказчиков. 5. Получите рецензию коллег-тестировщиков, разработчиков, заказчиков.

6. Обновляйте тесты, как только обнаружили ошибку или изменилась функциональность. 6. Обновляйте тесты, как только обнаружили ошибку или изменилась функциональность.

Что такое Notepad? Что такое Notepad? Какие функции для него наиболее важны?

Итак, вот наш Smoke test Итак, вот наш Smoke test

Фактически, это – чек-лист. И сами пункты грамотно сформированного чек-листа – готовые заголовки тест-кейсов. Фактически, это – чек-лист. И сами пункты грамотно сформированного чек-листа – готовые заголовки тест-кейсов.

Когда мы распишем наши тесты по правилам, Smoke Test примет следующий вид: Когда мы распишем наши тесты по правилам, Smoke Test примет следующий вид:

Аналогичным образом начинаем и продолжаем работать с тестом критического пути: Аналогичным образом начинаем и продолжаем работать с тестом критического пути:

Детализируем чек-лист: Детализируем чек-лист:

Продолжаем детализацию до тех пор, пока не получим логичный и достаточный набор тестов. После этого переносим его в шаблон и работаем аналогично тому, как мы делали это при разработке Smoke Test. Продолжаем детализацию до тех пор, пока не получим логичный и достаточный набор тестов. После этого переносим его в шаблон и работаем аналогично тому, как мы делали это при разработке Smoke Test.

Есть вопросы? Давайте обсудим! Есть вопросы? Давайте обсудим!

Как делать не нужно

Как делать хорошо