Что является основным критерием при проведении приемочного тестирования

Приемочное тестирование

Приемочное тестирование – это комплексное тестирование, необходимое для определения уровня готовности системы к последующей эксплуатации. Тестирование проводится на основании набора тестовых сценариев, покрывающих основные бизнес-операции системы.
Как правило, данный вид тестирования реализуется конечными пользователями системы, однако привлечение опытных тестировщиков сократит время на подготовку к тестированию и позволит повысить качество и надежность проводимых испытаний.

Ключевые преимущества

⦁ Позволяет обнаружить системные нарушения.
⦁ Позволяет обнаружить дефекты, связанные с удобством и простотой использования.
⦁ Привлечение опытных компетентных специалистов позволяет грамотно, качественно и в заданные сроки провести процесс приемки тестирования.
Основные этапы приемочного тестирования
Подготовка — Включает разработку ПиМИ (программы и методики испытаний) и подготовку приемочных тестов.
Проведение — Сопровождение клиента во время проведения приемочных тестов (заведение дефектов, отслеживание корректности и скорости выполнения тестирования). Возможно проведение приемочного тестирования полностью силами специалистов, в таком случае услуга ничем не отличается от ручного функционального тестирования.
Отчет – Компании клиенту предоставляется подробный отчет с перечнем ошибок, которые нужно устранить перед запуском системы в эксплуатацию.
Направления приемочного тестирования
Операционное тестирование — Проверка системы на способность выполнять свою роль в среде эксплуатации согласно бизнес-модели

Альфа-тестирование — Проверка независимой командой тестирования

Пользовательское тестирование — Проверка пригодности системы для внедрения конечными пользователями

Бета-тестирование — Тестирование внешними пользователями, потенциальными клиентами

Операционное тестирование

Операционное тестирование (OAT) проводится с целью убедиться, что система выполняет свою роль в среде эксплуатации согласно бизнес-модели. Данный вид тестирования проводится до пользовательского приемочного тестирования.

Ключевые преимущества

⦁ Снижение риска появления ошибок после выхода системы в промышленную эксплуатацию.
⦁ Снижение нагрузки на администраторов системы.

Основные задачи

В рамках операционного тестирования проводятся проверки:
⦁ тестирование устойчивости при возникновении ошибок в одной из компонент системы или при возникновении ошибок в сети;
⦁ проверка появления соответствующих сообщений об ошибках;
⦁ проверка отката и восстановления системы.

Пользовательское тестирование

Пользовательское тестирование (User Acceptance Testing — UAT) проводят конечные пользователи системы, с целью определить пригодность системы для внедрения. Тестирование проходит на последнем этапе испытаний.

Ключевые преимущества

⦁ Проведение тестирования в максимально короткие сроки;
⦁ Снижение нагрузки на пользователей за счет осуществления всех подготовительных работ командой опытных тестировщиков;
⦁ Повышение качества приемочного тестирования.

Основные задачи

Задача проведения пользовательского тестирования – оказать помощь конечным пользователям системы в подготовке и проведении испытаний.
Для этого проводятся следующие работы:
⦁ Разработка плана и методики приемочного тестирования;
⦁ Разработка детального описания сценариев тестирования;
⦁ Организация и координация работ в ходе пользовательского тестирования.

Альфа-тестирование

Альфа-тестирование – это ручное тестирование потенциальными пользователями, заказчиками или независимой командой тестирования на стенде разработки. Альфа-тестирование часто используется как форма внутреннего приемочного тестирования перед проведением бета-тестирования.

Ключевые преимущества

Альфа-тестирование позволяет фильтровать, уточнять и передавать разработчикам поступающие дефекты с подробным описанием, что значительно сокращает время, а также позволяет сокращать трудозатраты разработчиков на поиск причины дефекта и его исправление.

Основные задачи

В рамках проведения альфа-тестирования компании модераторы краудтестинга решают следующие задачи:
⦁ подготовка расписания тестирования;
⦁ организация участников тестирования;
⦁ отбор и уточнение поступающих замечаний;
⦁ регистрация дефектов в багтрекинговой системе.

Бета-тестирование

⦁ Бета-тестирование проводится после альфа-тестирования и может использоваться как приемочное тестирование внешними пользователями. Бета-версия системы передается группе пользователей вне команды разработки, чтобы снизить количество дефектов. Иногда версия передается нескольким командам, чтобы получить обратную связь от как можно большего количества будущих пользователей.

Ключевые преимущества

⦁ Получение отзывов и пожеланий от потенциальных пользователей продукта Компании клиента.
⦁ Повышение качества проведенного тестирования в заданные сроки, так как компания модератор краудтестинга отслеживает и способствует устранению проблем, возникающих у участников тестирования, а также проблем, связанных с тестовой средой.

Основные задачи

⦁ Поиск группы потенциальных пользователей, готовых протестировать систему.
⦁ Контроль, отбор и уточнение поступающих дефектов и пожеланий.
⦁ Оформление дефектов в багтрекинговую систему.
⦁ Подготовка и предоставление промежуточных и итоговых отчетов по результатам тестирования.

Источник

Что является основным критерием при проведении приемочного тестирования

Выбор стратегии часто зависит от требований контракта, корпоративных стандартов и сферы применения приложения.

Формальное приемочное тестирование

Формальное приемочное тестирование это тщательно спланированный процесс, и часто он является продолжением системного теста. Тесты разрабатываются также детально, как и системные тесты. Тестовые наборы должны быть подмножеством тестовых наборов системных тестов. Важно не отклоняться от выбранных тестовых наборов. Во многих организациях формальное приемочное тестирование является полностью автоматическим.

Задачи и рабочие продукты те же самые, что и при системном тестировании. Иногда приемочное тестирование выполняет специальная группа тестирования, включающая представителей конечных пользователей. В других случаях приемочное тестирование выполняется группой, состоящей только из представителей заказчика или уполномоченных им.

Ниже приведены преимущества этой формы тестирования:

Недостатки перечислены ниже:

Неформальное приемочное тестирование

При неформальном приемочном тестировании процедуры тестирования не планируются так тщательно, как при формальном приемочном тестировании. Хотя тестируемые функции и свойства определены, нет жестко определенных тестовых наборов. Тестирующий определяет метод тестирования. Этот подход менее контролируем, чем формальное тестирование, и более субъективен.

Ниже приведены преимущества этой формы тестирования:

Недостатки перечислены ниже:

Бета-тестирование

Ниже приведены преимущества этой формы тестирования:

Недостатки перечислены ниже:

© Copyright IBM Corp. 1987, 2006. Все права защищены..

Источник

Разработка через приемочные тесты (ATDD). Что это такое, и с чем его едят

Разработка через тестирование (TDD) – отличный способ повысить качество и надежность кода. Этот же подход может быть распространен и на разработку требований. Он называется «Разработка через приемочные тесты» – acceptance test driven development (ATDD). Сначала я присматривался к этому подходу, потом пробовал применить, потом долго тюнинговал, чтобы приспособить его под мои нужды, и теперь хочу поделиться мыслями. И для себя еще раз разложить все по полочкам.

В этой статье я расскажу небольшое введение в тему. Пример будет совсем простой и скорее для иллюстрации. А в следующей статье постараюсь поделиться историей, как я применял ATDD на практике при разработке настоящей фичи в реальном продукте.

Вместо введения

Когда я работал программистом в аутсорс компании на один банк, то мне приходилось изучать спецификации требований и оценивать трудоемкость задач. Оценивать нужно было как можно точнее, мы работали по модели оплаты за проект (Fixed Price), и все промахи в сроках были на нашей стороне и не оплачивались. Каждый раз, когда я читал спецификации, мне было все понятно, я не замечал в них нелогичные моменты, упущения, странности. Но как только начиналась разработка, то все косяки требований вылезали наружу, и было удивительно, как я их пропустил в начале. Несмотря на все усилия, я так и не мог придумать способ, как читать спецификации и находить в них проблемы до реализации.

Потом я перешел на работу в крупную компанию, которая занималась разработкой большого и сложного коробочного продукта, над которым работала огромная команда. Аналитики общались с партнерами и клиентами и записывали их пожелания. Потом эти спецификации, прежде чем быть взятыми в работу, проходили процедуру ревью, в которой участвовали и разработчики. Чтобы не тратить время на самой встрече, надо было сначала прочитать требования и подготовить вопросы. Как и в предыдущем проекте, большинство вопросов к содержимому документов возникали позднее – во время разработки, а не тогда, когда должны были возникнуть, то есть на этапе ревью.

Затем я ушел в свой стартап. Естественно, там не было никаких аналитиков, спецификаций и ревью. Обратную связь мы получали от пользователей в виде имейлов или звонков, тут же превращали это в фичи и включали в план разработки. Несмотря на отсутствие задокументированных требований, все равно приходилось оценивать трудоемкость задач. То, что на первый взгляд казалось очень простым, на деле становилось головной болью и наоборот. При быстром переключении контекста с одной проблемы на другую, уже реализованные решения вылетали из головы и становилось все труднее и труднее совмещать их в одном продукте. Нам было нужно какое-то подобие технической документации, тестпланов и требований. И чтобы стоило недорого.

Что такое ATDD

Acceptance test driven development (ATDD) является развитием идеи test driven development (TDD). Общий смысл в том, что прежде чем что-то делать, надо придумать критерий выполненной работы и критерий того, что работа сделана правильно. Почему это важно? Потому что эти критерии позволяют на самом раннем этапе понять, что именно требуется сделать, как это сделать, что именно считать хорошим результатом. Т.е. не выяснять детали по ходу дела, строя прототипы, а сразу приближаться к цели, так как цель уже определена, причем вполне формально.

Эти критерии описываются на понятном заказчику языке в виде готовых сценариев. Сценарии моделируют то, как проектируемая фича будет использоваться в дальнейшем. Если сценарий реализован и ожидаемый в нем результат может быт получен на практике, значит задача решена корректно и работу можно считать выполненной. Набор таких сценариев и называется приемочными тестами. Приемочные тесты фокусируются на поведении системы с точки зрения человека, а не на внутреннем устройстве и на технических деталях реализации.

Несмотря на общее название, этот подход относится ко вполне определенной части процесса – той, где происходит разработка требований и их формализация в спецификации. В данном процессе часто участвуют люди как со стороны бизнеса, так и с технической стороны, т.е. люди, обладающие разными компетенциями и взглядами на мир. Заказчики на интуитивном уровне понимают, что именно они хотят видеть в продукте, но сформулировать и перечислить требования кратко (и полно) могут далеко не все. Разработчики (представители исполнителя), в свою очередь, часто не знают, что именно забыл рассказать заказчик, и как это выяснить.
Для решения этих задач используется фреймворк Given – When – Then.

Фреймворк Given – When – Then

Смысл приемочного теста — показать, что произойдет с системой в конкретном сценарии. Для этого в сценарии должно быть описано, как выглядит система в начале теста, затем описывается какое-то действие, которое эту систему меняет. Это может быть воздействие снаружи, а может быть и какой-то внутренний триггер. В результате система немного меняет свое состояние, что и является критерием успешности. Важный момент: система рассматривается как черный ящик. Другими словами, формулируя тест, мы не знаем, как система устроена внутри и с чем она взаимодействует снаружи. Тут есть одна особенность. Иногда изменение системы недоступно для непосредственного наблюдения. Это означает, что саму приемку провести не получится. Выхода тут два — либо попытаться определить состояние косвенно, через какие-то соседние признаки, либо просто не использовать такой тест. Примером могут быть изменение полей в таблицах БД, отложенные изменения в каких-то недоступных файлах и т.д.

В юнит тестах используется шаблон Arrange – Act – Assert (AAA). Это означает, что в тестах должны быть явные части, отвечающие за подготовку данных — arrange, само действие, результат которого надо проверить – act, и собственно проверка, что реальность совпала с ожиданиями – assert. Для приемочных тестов используется подход Given – When – Then (GWT). Суть та же, только с другого ракурса.

Given часть может содержать в себе как одно, так и набор состояний. В случае, когда их несколько, эти состояния должны читаться через «И». Объединять какие-то состояния через «ИЛИ» можно, но тогда это будут два разных теста. Такое возможно для упрощения записи. Я рекомендую избегать этого до того момента, как все возможные комбинации состояний не будут описаны. Тогда можно быть уверенным, что ничего не забыто и слить несколько тестов в один для упрощения чтения и понимания. Это же справедливо и для Then — исходов, которые надо проверить может быть несколько. When должен быть один. Взаимовлияния триггеров лучше избегать.

GWT тесты вполне можно читать вслух: «Пусть (given) A и B, и C. Когда (when) случается D, то (then) получается E и F.». Их вполне можно использовать для документации или формулирования требований. Когда я говорю «читать», я не имею ввиду, что именно так они и должны быть записаны. В реальности такие тесты получаются очень масштабными. Если их записать простым текстом, то потом взглянуть на них системно очень тяжело. А без системы легко пропустить какие-нибудь важные сценарии.

Очень важный момент: формат записи нужно выбирать тот, который наиболее подходит к вашей задаче, с которым удобнее работать. Никаких ограничений тут нет. Given, when, then — это общая структура записи, то есть то, что обязательно должно быть в тесте, а непосредственное представление может быть любым – хоть предложения, хоть таблицы, хоть диаграммы.

ATDD не диктует правила, а предоставляет фреймворк для того, чтобы составить свою спецификацию через примеры. Есть модель черного ящика, GWT и их комбинирование. Все остальное является применением этих механизмов на практике, часть из которых можно считать устоявшимися.

Пример

Для примера возьмем что-нибудь простое и понятное, например, светофор. Как можно описать требования к разработке светофора с помощью GWT нотации? Для начала нужно понять, что именно в светофоре можно назвать Given, что является When, а что Then.

За состояние светофора можно принять информацию о том, какая секция сейчас горит. Светофор переключается (меняет состояние) через какие-то промежутки времени. Значит триггером является таймер, точнее, срабатывание таймера. Результатом срабатывания триггера является переход в одно из состояний. Т.е. можно считать, что в примере со светофором Given и Then – один и тот же набор:

Опишем поведение светофора в нотации GWT:

Вот 5 сценариев, прочитав которые, можно понять, как работает светофор. Естественно, у светофора есть еще куча режимов, например, режим желтого мигающего (когда он неисправен), или ручной режим управления (например, в случае ДТП) и т.д. Но не будем усложнять иллюстрацию.

Описывать тесты словами мне кажется избыточным. Тем более, что меняется в них только название цвета. Тут лучше подойдет диаграмма состояний или простая таблица:

Пример показывает один из основных преимуществ приемочных тестов: они позволяют общаться с бизнес пользователями практически на их языке. Приятным бонусом идет готовый набор сценариев для тестирования и последующей автоматизации.

Обеспечение полноты

Нотация Given — When — Then структурирует процесс составления тестов и дает уверенность в том, что тесты описывают все аспекты поведения системы. Не нужно сидеть и постоянно спрашивать себя: «А какой сценарий я еще не описал?».
Итак, алгоритм такой:

На каждом из этих этапов требуется участие заказчика или человека, который играет его роль, потому что именно он лучше всех представляет, что и как в итоге должно работать.

Почему полезно

Как уже было сказано, подобный подход, несмотря на свою избыточность, дает уверенность в том, что ни один из сценариев не будет пропущен. Это, пожалуй, главное преимущество такой формализации. Зачастую бизнес-пользователь видит процесс только в общих чертах и ему не видны детали. Я уверен, что вы постоянно слышите от заказчика или даже аналитика фразы типа: «Нам нужна такая-то фича, я все придумал, вот, смотри картинку», или «Тут нам нужна такая-то кнопка, у нас уже есть похожая функциональность в другом месте, сделай как там». Если до того, как начать разработку, сесть и прикинуть возможные варианты развития событий, то сразу всплывет очень много деталей, в которых, как известно, и кроется дьявол.

Подобный подход так же полезен и в случае, когда от аналитика приходит спека и ее нужно прочитать, дать свои оценки сложности и трудозатрат. При прочтении все детали ускользают, но если по ходу чтения вести конспект по форме GWT, то сразу становится понятно, какие сценарии плохо или неточно покрыты в требованиях и требуют уточнений.

Помимо анализа требований с целью разработки решения, GWT сценарии можно применять и для сбора требований. Предположим, что есть какая-то функциональная область и человек, который в ней разбирается, но время на общение с ним очень ограничено. Если подготовиться заранее и разобрать сценарии с помощью GWT фреймворка, то на самом интервью нужно будет узнать только то, что мы ничего не забыли из раздела Given, When и уточнить, что именно должно быть в разделе Then.

Есть специальные инструменты для автоматизации GWT сценариев, записанных в том числе и на естественных языках. Пример — cucumber. Я с ними не работал, поэтому ничего кроме факта их существования рассказать не могу.

Подводные камни

Обратная сторона мощности GWT — избыточность. Предположим, что вы определили N штук given, M штук when и K штук then. В худшем случае количество тестов будет огромным – N M K. И с этим надо как-то жить. Это верхняя оценка сложности; в реальности далеко не все эти сценарии будут осуществимы, а часть из них будет дублировать друг друга, а еще часть можно пропустить ввиду низкого приоритета или очевидности.

Вторым недостатком можно указать формат. По моему опыту могу сказать, что GWT записи всегда стремятся к минимализму. Во время их разработки не хочется тратить времени на детальные описания, потому что зачастую сценарии похожи друг на друга. В результате получается тяжело читаемая структура. После некоторого перерыва для ее понимания приходится восстанавливать контекст, и заново вспоминать условные сокращения и записи. Это также затрудняет задачу передать кому-то документ для ознакомления, так как, скорей всего, для его прочтения потребуется сам автор.

Следующий недостаток объясняет, почему ATDD скорее относится к области формализации требований с бесплатным бонусом в виде тестовых сценариев, а не собственно тестирования. Такие сценарии не могут описать композитные (большие и сложные) сценарии. Тестирование идеального черного ящика в первую очередь основано на аксиоме его идеальности. В реальности ящики черными не бывают, они всегда взаимодействуют с чем-то снаружи себя, являясь при этом частью более сложной системы — продукта. Легко можно переусложнить требования, если попытаться включить в один документ сразу все связи внутри продукта. Такой набор приемочных тестов будет настолько огромным и сложным, что мало чем сможет помочь. Поэтому, в реальной жизни сквозные сценарии в качестве приемочных тестов не применяются.

Немного исторической справки

Если верить Википедии, то идея формулировать спецификации через конкретные сценарии была впервые описана Ward Cunningham в 1996 году, а сам термин specification by example ввел Martin Fowler в 2004 году. Дальнейшее развитие идеи формулируется в книге «Bridging the Communication Gap: Specification by Example and Agile Acceptance Testing» от Gojko Adzic 2009 года. В 2011 он же выпустил еще одну книгу на эту тему: «Specification by Example: How Successful Teams Deliver the Right Software». Рекомендую эти книги для обращения к первоисточнику.

Источник

Формальное тестирование в отношении потребностей, требований и бизнес-процессов пользователя, проводимое для определения того, удовлетворяет ли система критериям приемки, и для того, чтобы пользователь, клиенты или другой уполномоченный орган могли определить, принимать ли систему.

Испытание дыма может быть использовано в качестве приемочного испытания перед введением сборки программного обеспечения для основного процесса тестирования.

СОДЕРЖАНИЕ

Обзор

Тестовые примеры UAT и OAT идеально подходят для совместной работы с бизнес-клиентами, бизнес-аналитиками, тестировщиками и разработчиками. Важно, чтобы эти тесты включали как тесты бизнес-логики, так и условия операционной среды. Бизнес-клиенты (владельцы продуктов) являются основными участниками этих тестов. Поскольку условия испытаний успешно достигают своих критериев приемлемости, заинтересованные стороны уверены, что разработка идет в правильном направлении.

Процесс

Набор приемочных тестов может потребоваться выполнить несколько раз, поскольку не все тестовые примеры могут быть выполнены в рамках одной итерации теста.

Набор приемочных испытаний запускается с использованием предопределенных процедур приемочных испытаний, чтобы указать тестировщикам, какие данные использовать, пошаговые процессы и ожидаемый результат после выполнения. Фактические результаты сохраняются для сравнения с ожидаемыми. Если фактические результаты соответствуют ожидаемым результатам для каждого тестового примера, тестовый пример считается пройденным. Если количество непроходящих тестовых случаев не превышает заранее установленный порог проекта, набор тестов считается пройденным. Если это так, система может быть отклонена или принята на условиях, предварительно согласованных между спонсором и производителем.

Ожидаемый результат успешного выполнения теста:

Приемочное тестирование пользователей

Пользовательское приемочное тестирование (UAT) состоит из процесса проверки того, что решение работает для пользователя. Это не тестирование системы ( проверка того, что программное обеспечение не дает сбоев и соответствие задокументированным требованиям), а скорее гарантия того, что решение будет работать для пользователя (т. Е. Проверка того, что пользователь принимает решение); поставщики программного обеспечения часто называют это «бета-тестированием».

Это тестирование должно проводиться профильным экспертом (SME), предпочтительно владельцем или клиентом тестируемого решения, и предоставлять сводку результатов для подтверждения, чтобы продолжить после испытания или обзора. При разработке программного обеспечения UAT как один из заключительных этапов проекта часто происходит до того, как клиент или заказчик принимает новую систему. Пользователи системы проводят тесты в соответствии с тем, что происходит в реальных сценариях.

Важно, чтобы материалы, предоставленные тестеру, были аналогичны материалам, которые будут у конечного пользователя. Тестировщикам должны быть предложены сценарии из реальной жизни, такие как три наиболее распространенных или сложных задачи, которые будут выполнять пользователи, которых они представляют.

UAT действует как окончательная проверка требуемой бизнес-функциональности и надлежащего функционирования системы, имитируя реальные условия от имени платящего клиента или конкретного крупного клиента. Если программное обеспечение работает должным образом и без проблем при нормальном использовании, можно разумно экстраполировать тот же уровень стабильности в производственной среде.

UAT следует выполнять по тестовым сценариям. Сценарии тестирования обычно отличаются от системных или функциональных тестов тем, что они представляют собой путь «игрока» или «пользователя». Широкий характер сценария тестирования гарантирует, что основное внимание уделяется путешествию, а не техническим или системным деталям, избегая этапов тестирования «щелчок за щелчком», чтобы учесть различия в поведении пользователей. Сценарии тестирования можно разбить на логические «дни», в которые обычно меняются субъект (игрок / заказчик / оператор) или система (бэк-офис, клиентская часть).

В промышленности обычным UAT является заводское приемочное испытание (FAT). Этот тест проводится перед установкой оборудования. В большинстве случаев тестировщики проверяют не только соответствие оборудования спецификации, но и его полную работоспособность. FAT обычно включает проверку полноты, проверку соответствия контрактным требованиям, подтверждение функциональности (путем моделирования или обычного функционального теста) и окончательную проверку.

Результаты этих тестов вселяют в клиентов уверенность в том, как система будет работать в производственной среде. Также могут быть юридические или договорные требования для принятия системы.

Оперативно-приемочные испытания

Приемочное тестирование по экстремальному программированию

Виды приемочных испытаний

Типичные типы приемочных испытаний включают следующие

Приемочное тестирование пользователей Это может включать заводские приемочные испытания (FAT), т. Е. Тестирование, проводимое поставщиком перед перемещением продукта или системы на место назначения, после чего приемочные испытания сайта (SAT) могут быть выполнены пользователями на сайте. Оперативно-приемочные испытания Также известное как тестирование эксплуатационной готовности, это относится к проверке, выполняемой в системе, чтобы гарантировать, что процессы и процедуры существуют, позволяющие использовать и поддерживать систему. Это может включать проверки, выполняемые для средств резервного копирования, процедуры аварийного восстановления, обучение конечных пользователей, процедуры обслуживания и процедуры безопасности. Приемочные испытания контрактов и нормативных документов При приемочных испытаниях по контракту система проверяется на соответствие критериям приемки, задокументированным в контракте, прежде чем система будет принята. При приемочных испытаниях в соответствии с нормативными требованиями система проверяется на соответствие государственным и юридическим стандартам и стандартам безопасности. Заводские приемочные испытания Приемочные испытания, проводимые на объекте, на котором разрабатывается продукт, и выполняются сотрудниками организации-поставщика, чтобы определить, удовлетворяет ли компонент или система требованиям, обычно включая аппаратное обеспечение и программное обеспечение. Альфа- и бета-тестирование Альфа-тестирование проводится на сайтах разработчиков и включает тестирование операционной системы внутренним персоналом, прежде чем она будет передана внешним клиентам. Бета-тестирование проводится на объектах клиентов и включает тестирование группой клиентов, которые используют систему в своих местах и ​​предоставляют отзывы, прежде чем система будет передана другим клиентам. Последнее часто называют «полевыми испытаниями».

Источник