Тестирование ПО при непрерывной поставке

Тестирование ПО позволяет организации экономить время и деньги за счет сокращения расходов на разработку и техническое обслуживание ПО. Тестирование ПО добавляет гарантии стабильности в процесс разработки новых возможностей. Тестирование гарантирует, что возможности ПО работают в соответствии с ожиданиями, а пользователи не сталкиваются с багами.

Время, затрачиваемое на разработку новых функций, сокращается за счет определения набора тестовых сценариев, которым новая функция должна соответствовать, чтобы считаться законченной и пригодной к поставке. Это дает разработчикам фиксированную цель — работать в направлении более точной оценки сроков и понижения вероятности появления новых багов. После того, как эти тестовые сценарии будут готовы, сократятся общие расходы на техническое обслуживание. Тесты можно запускать для проверки уже поставленной функции для подтверждения того, что она все еще работает так, как ожидается.

Тестирование ПО делится на несколько фундаментальных уровней, каждый из которых предоставляет уникальное преимущество при проверке функциональности ПО в рамках процесса разработки. Давайте рассмотрим по очереди каждый тип тестирования и изучим их практическое применение.

Фундаментом тестирования ПО является модульное тестирование. Модульное тестирование — это практика проведения проверок правильности ввода и вывода для отдельных модулей кода. Единицей измерения в данном случае являются самостоятельные функции и методы кода.

Во время модульного тестирования в тестовой среде со смоделированным вводом выполняются функции кода рабочей среды. Данные на выходе функции затем сопоставляются со спрогнозированным результатом для соответствующих данных на входе. Тест считается пройденным, если данные на выходе совпадают с ожиданиями. В противном случае тест не засчитывается. Проведение модульных тестов — отличный способ проверки функций производных данных.

Гипотетический образец пользовательской истории по написанию модульного теста выглядит примерно так: «функция 2VAL, принимая на вход 2 значения, x и y, всегда возвращает x+y». Тогда модульный тест должен будет выполнять 2VAL с двумя значениями и подтверждать, что на выходе получается x+y. Модульные тесты отлично подходят для подтверждения правильности кода, работающего с денежными значениями.

Когда сценарий тестирования ПО покрывает более одного модуля, такое тестирование считается интеграционным. При разработке сценария тестирования ПО граница между модульными тестами может быстро стереться, в результате чего они станут интеграционными. Часто возможна разработка модульных тестов, которые работают с зависимостями стороннего кода. Тестировать саму зависимость необходимости не будет, и интеграция с ней будет имитацией, или искусственной.

Тестовые сценарии, в полной мере имитирующие взаимодействие пользователя с ПО, называются функциональными, или сквозными, тестами. В сквозных тестах используются инструменты, которые имитируют поведение реального человека. Ниже перечислены типичные шаги сквозного теста.

• Нажмите эту кнопку
• Прочитать текст
• Отправить форму

Поскольку сквозные тесты выполняются в полном контексте пользовательского интерфейса, они проверяют правильность работы ПО на всех уровнях программного стека.

Глубокое тестирование — это такое тестирование, когда перед тестировщиками ставится нечетко сформулированная задача, которую необходимо выполнить с использованием тестируемого программного обеспечения. Это позволяет многое узнать о том, как люди используют ваш продукт на практике. Во время сеансов глубокого тестирования можно даже мотивировать пользователей, предлагая награды за наибольшее количество найденных проблем, самый важный выявленный дефект или за обнаруженную возможность сделать с продуктом что-либо незапланированное.

Одним из преимуществ глубокого тестирования ПО является то, что к нему может присоединиться любой желающий, потому что все, что ему потребуется делать, — это свободно исследовать продукту. Глубокое тестирование не является случайным, но и не базируется на сценариях, как ручные тесты.

Для непрерывной поставки используются все вышеупомянутые стратегии тестирования ПО, позволяющие создать эффективный конвейер, который обеспечивает автоматическую поставку кода по итогам выполненных задач. Оптимальная настройка позволила бы разработчику осуществить push недавно завершенного кода в конвейер непрерывной поставки для оценки. Конвейер затем запустил бы только что отправленный код через уровни тестирования. Если код проходит тесты, выполняется его автоматическое слияние и развертывание в рабочей среде. Если код все-таки не проходит тесты, он автоматически отклоняется, и разработчик получает автоматическое уведомление о том, что нужно исправить.

В устоявшихся экосистемах, характерных для популярных языков разработки ПО, есть собственные подсистемы тестирования. Существует множество инструментов, помогающих в разработке и реализации комплектов тестов. Эти инструменты обычно устанавливаются через менеджер пакетов, предназначенный для конкретного языка программирования, используемого в проекте.

Помимо инструментов для реализации тестирования доступны также инструменты для разработки и выполнения тестов. Для получения результатов комплекта тестов можно установить различные средства выполнения тестов. Общепринятой практикой является измерение «покрытия тестами» в рамках всего проекта. Чтобы определить, какая часть базы кода должным образом покрыта, можно использовать инструмент покрытия кода.

По окончании разработки комплекта тестов, который корректно работает в локальном проекте, как правило он интегрируется прямо в конвейер CD. Большинство размещенных систем CD/CI предоставляет руководство по интеграции комплекта тестов в конвейер.

Конвейер CD, по-настоящему автоматизированный и приносящий практическую пользу, должен создаваться на основе эффективного тестирования. Разработка этой основы начинается с создания ручных тестовых сценариев, которые затем превращаются в автоматизированные решения.

Когда дело касается качества продукта, отношения команды с клиентом зависят от всех ее участников (разработчики, тестировщики и т. д.). Каждая строка кода может как улучшить, так и ухудшить работу клиента. Комплект тестов конвейера CD — это многогранный инструмент для разработки качественного и корректного кода. О необходимости разработки комплекта тестов надо помнить еще на этапе проектирования продукта, чтобы заранее составить представление о том, как следует разрабатывать ту или иную возможность. Комплект тестов прежде всего используется для оптимизации процесса разработки, но его также можно выполнять в промежуточной и рабочей средах, чтобы обеспечивать качество и там.

Традиционная методология тестирования предполагает, что тестирование — это отдельный процесс, идущий независимо от разработчика. Исключение разработчика из процесса контроля качества приводит к недостатку эмпатии к клиенту со стороны команды разработчиков. Более того, недостаточная вовлеченность разработчика в контроль качества позволяет ошибкам «отравлять» базу кода гораздо дольше, что приводит к увеличению стоимости избавления от них. Эта методология также является дорогостоящей в плане организационных кадровых затрат, поскольку при ее применении рекомендуется создавать отдельную команду, ответственную за контроль качества.

Непрерывная поставка помогает разработчику понять и прочувствовать впечатления конечного пользователя. Перед разработчиками стоит задача по обеспечению тестового покрытия функций, которые они создают, и наблюдению за ними от среды разработки до рабочей среды. Это дает разработчикам возможность выступать в роли владельцев функции и гарантировать ее качество.

Непрерывная поставка обеспечивает быстрое развертывание и обновление проекта ПО. Это дает возможность реагировать на отзывы клиентов в ближайшем релизе. Если пользователь сообщает о проблеме, можно сократить объем других задач, находящихся в работе. Команды разработчиков и тестировщиков, которые быстро реагируют на отзывы клиентов, являются наиболее успешными.

Хотите создать собственную среду непрерывной поставки? Мы поможем сделать первый шаг.

При разработке стратегии тестирования ПО важно держать в уме общую стратегию развития продукта, бизнеса и удобства для пользователей. Здесь необходимо решить, какие целевые показатели покрытия тестами являются наиболее важными.

В идеальном проекте разработки ПО следовало бы стремиться к стопроцентному покрытию тестами, чтобы гарантировать, что код не содержит багов и работает в соответствии с ожиданиями. К сожалению, в реальном бизнесе с его временными и бюджетными ограничениями это вряд ли осуществимо.

Кроме того, при рассмотрении различных стратегий тестирования необходимо учитывать тип поставляемого ПО. Если ПО представляет собой приложение с графическим пользовательским интерфейсом, будут очень полезны высокоуровневые сквозные тесты. Проекты ПО без пользовательского интерфейса обойдутся без сквозного тестирования: для них ценными будут модульные тесты.

Общая стратегия для пользовательских приложений на основе графического интерфейса заключается в следующем.

1. Реализуйте сквозные тесты для всех основных путей пользователя, таких как вход в систему, регистрация, окончание работы и т. п.
2. Реализуйте модульные тесты для всех функций кода, чувствительных к данным, например для инструментов обработки денежных транзакций
3. Реализуйте интеграционные тесты для всех точек интеграции со сторонними системами, чтобы гарантировать, что данные передаются в стороннюю систему, а любые возникающие ошибки правильно обрабатываются

Стремление к процессу непрерывной поставки имеет много преимуществ с точки зрения бизнеса. Соблюдение принципов непрерывной поставки позволяет резко сократить организационные расходы по найму специалистов и управлению отдельными командами, выполняющими работу по контролю качества, управлению релизами и разработке тестов.

Непрерывная поставка способствует достижению более высокого качества продукта в целом, по сравнению с традиционным процессом QA‑тестирования. CD‑тестирование способствует тому, чтобы разработчики брали на себя ответственность за продукт и были заинтересованы в его удобстве для конечных пользователей, а также в качестве функций, которые они добавляют. CD является механизмом, который облегчает концентрацию на качестве релиза и обеспечивает его обсуждение на уровне всей компании.

Реализация надежной стратегии тестирования ПО является основой непрерывной поставки, а автоматизация — ключом к успешному созданию конвейера непрерывной поставки.

Вы готовы поднять тестирование ПО на новый уровень? Узнайте больше о тестировании в среде CD. А из наших руководств по тестированию DevOps вы можете узнать, как инструменты Atlassian и сторонних производителей могут интегрировать тестирование в ваш рабочий процесс.