Виды тестирования ПО и их связь с DevOps

QA (Quality Assurance) — обеспечение качества программного обеспечения. В рамках DevOps особенно важную роль играет SQA (Software Quality Assurance) — комплекс процессов и практик, направленных на проверку качества программного продукта.

С развитием DevOps-подхода и появлением возможности автоматизировать сборку, тестирование и доставку программного кода автоматизация тестирования стала неотъемлемой частью процесса разработки и поставки ПО.

В зависимости от стандартов качества, принятых в компании, особенностей продукта и организации рабочих процессов подходы к тестированию могут существенно отличаться. Однако DevOps-инженеру важно понимать, какие существуют виды тестирования ПО, для чего они используются и как интегрировать их в CI/CD-процессы.

Какие бывают виды тестирования ПО

По своему функциональному назначению тестирование программного обеспечения принято разделять на три основные группы:

• Функциональное тестирование — Unit testing и Integration testing.

• Нефункциональное тестирование — Usability testing, Load testing, Installation testing и другие виды.

• Тестирование, связанное с изменениями — Smoke testing и Regression testing.

Каждый из этих видов тестирования решает свою задачу, а в DevOps-практиках они могут быть встроены в различные этапы CI/CD pipeline.

Функциональное тестирование

Функциональное тестирование направлено на проверку функций и возможностей программного приложения. Оно позволяет убедиться, что отдельные элементы системы и их взаимодействие работают в соответствии с установленными требованиями.

К функциональному тестированию относятся, в частности:

• Блочное тестирование (Unit testing) — проверка отдельных компонентов или функций программы.

• Интеграционное тестирование (Integration testing) — проверка взаимодействия между отдельными модулями, сервисами и компонентами системы.

Именно функциональные тесты во многих проектах являются обязательной частью процесса разработки. Поэтому DevOps-инженеру часто приходится работать с автоматизацией функционального тестирования и интеграцией автотестов в CI/CD.

Например, после внесения изменений разработчик может отправить код в репозиторий. Система CI автоматически соберет приложение и запустит Unit- и Integration-тесты. Если тесты завершатся с ошибками, дальнейшая доставка приложения может быть остановлена.

Таким образом, автоматизированное тестирование становится одним из механизмов контроля качества в DevOps.

Нефункциональное тестирование

Нефункциональное тестирование оценивает не столько конкретные функции приложения, сколько другие характеристики программного продукта: производительность, удобство использования, процесс установки и другие параметры качества.

К распространенным видам нефункционального тестирования относятся:

• Usability testing (тестирование удобства использования);

• Load testing (нагрузочное тестирование);

• Installation testing (тестирование установки).

Usability testing

Юзабилити-тестирование (Usability testing) позволяет оценить программное решение с точки зрения конечного пользователя.

Проверяется, насколько интерфейс и функциональность приложения понятны, удобны и полезны пользователю.

Такое тестирование особенно важно при разработке пользовательских приложений и новых функций, поскольку технически корректная реализация не всегда означает удобство использования продукта.

Load testing

Нагрузочное тестирование (Load testing) используется для оценки поведения приложения или инфраструктуры под определенной нагрузкой.

В DevOps нагрузочное тестирование может применяться, например, при планировании изменений инфраструктуры. Для этого создаются тестовые стенды с различными конфигурациями и анализируется поведение системы при увеличении нагрузки.

В результате можно определить:

• при какой нагрузке система начинает работать медленнее;

• когда появляются ошибки;

• какие компоненты становятся узкими местами;

• насколько текущая инфраструктура соответствует требованиям приложения.

Полученные результаты помогают принимать решения о масштабировании, изменении конфигурации серверов и других инфраструктурных изменениях.

Installation testing

Тестирование установки (Installation testing) особенно актуально для программных продуктов, которые поставляются в виде устанавливаемого решения.

В этом случае проверяется сам процесс установки приложения в операционной системе: корректность установки, конфигурации необходимых компонентов и возможность последующего запуска программы.

Тестирование, связанное с изменениями

Отдельную группу составляют тесты, которые применяются для проверки системы после внесения изменений.

К ним относятся:

• Smoke testing (дымовое тестирование);

• Regression testing (регрессионное тестирование).

Smoke testing — дымовое тестирование

Smoke testing представляет собой быструю проверку основных функций приложения после сборки или внесения изменений.

Основная задача дымового тестирования — ответить на простой вопрос: приложение вообще запустилось и готово к дальнейшему тестированию?

Например, после развертывания новой версии можно автоматически проверить:

• запускается ли приложение;

• доступен ли основной сервис;

• отвечает ли API;

• работает ли подключение к необходимым компонентам;

• доступны ли ключевые функции.

В DevOps smoke-тесты часто запускаются непосредственно после деплоя новой версии приложения. Это позволяет быстро обнаружить критические проблемы и не тратить ресурсы на дальнейшее тестирование неисправной сборки.

Regression testing — регрессионное тестирование

Регрессионное тестирование направлено на проверку уже существующего функционала после внесения изменений в приложение.

Основная цель регрессии — убедиться, что добавление новой функции, исправление ошибки или изменение существующего компонента не нарушило работу других частей системы.

Например, разработчик добавил новый способ оплаты. Помимо проверки новой функции необходимо убедиться, что ранее существовавшие способы оплаты продолжают работать корректно.

При ручном тестировании полноценная регрессия может занимать много времени и ресурсов. Поэтому автоматизация регрессионных тестов стала одним из важных направлений современной разработки.

В DevOps автоматизированные регрессионные тесты могут запускаться непосредственно в CI/CD pipeline перед выпуском новой версии приложения. Это позволяет регулярно проверять большое количество сценариев без необходимости выполнять их вручную.

Как тестирование связано с DevOps

Одной из ключевых идей DevOps является автоматизация процессов разработки, тестирования и доставки программного обеспечения.

В традиционном подходе тестирование зачастую выполнялось отдельным этапом после завершения разработки. DevOps стремится сделать процесс непрерывным: код должен автоматически проходить проверки качества на различных этапах CI/CD-пайплайна.

Упрощенно процесс может выглядеть следующим образом:

Разработка → Сборка → Unit-тесты → Integration-тесты → Развертывание → Smoke-тесты → Нагрузочные/другие проверки → Релиз

При обнаружении ошибки pipeline может остановиться, не позволяя проблемной версии попасть в следующие окружения или в production.

Таким образом, автоматизация тестирования в DevOps позволяет:

• быстрее обнаруживать ошибки;

• уменьшать количество ручных операций;

• повышать стабильность релизов;

• сокращать время доставки изменений;

• контролировать качество каждой сборки;

• снижать риск появления регрессий;

• создавать воспроизводимый процесс доставки ПО.

Зачем DevOps-инженеру понимать виды тестирования

DevOps-инженер не обязательно должен быть специалистом по каждому виду тестирования, однако ему необходимо понимать основные принципы QA и место автоматизированных тестов в CI/CD.

Это особенно важно при проектировании pipeline. Инженер должен понимать, какие тесты необходимо запускать на определенном этапе, как передавать результаты тестирования дальше по процессу и в каких случаях следует останавливать pipeline.

Например, базовый CI/CD-процесс может включать:

1. получение исходного кода из репозитория;

2. сборку приложения;

3. запуск Unit-тестов;

4. запуск Integration-тестов;

5. сборку артефакта или Docker-образа;

6. развертывание приложения на тестовом окружении;

7. запуск Smoke-тестов;

8. выполнение Regression или других автоматизированных тестов;

9. доставку проверенной версии в production.

Так тестирование становится не отдельной финальной процедурой, а частью единого автоматизированного процесса разработки и доставки программного обеспечения.

Итог

Современный DevOps-подход тесно связан с автоматизацией тестирования ПО. Чем больше процессов разработки и доставки автоматизировано, тем важнее автоматические проверки качества на каждом соответствующем этапе.

DevOps-инженеру важно знать основные виды тестирования: функциональное, нефункциональное, smoke- и регрессионное тестирование, а также понимать, как интегрировать автоматизированные тесты в CI/CD.

В результате команда получает более предсказуемый процесс разработки, быстрое обнаружение ошибок и возможность безопаснее и чаще выпускать новые версии программного обеспечения.