Нестабильные тесты

Состояние системы

В целом нестабильный тест указывает на то, что он зависит от некоторого состояния системы, которое не контролируется должным образом, — тестовая среда недостаточно изолирована. Тесты более высокого уровня чаще бывают нестабильными, поскольку зависят от большего количества состояний.

Нестабильные тесты иногда проявляются при параллельном запуске набора тестов (например, при использовании pytest-xdist). Это может указывать на зависимость теста от порядка выполнения.

• Возможно, другой тест не выполняет очистку после себя и оставляет данные, из-за которых нестабильный тест завершается с ошибкой.
• Нестабильный тест зависит от данных предыдущего теста, который не выполняет очистку после себя, а при параллельном запуске этот предыдущий тест присутствует не всегда.
• Тесты, изменяющие глобальное состояние, обычно нельзя запускать параллельно.

Чрезмерно строгие проверки

Чрезмерно строгие проверки могут создавать проблемы при сравнении чисел с плавающей точкой, а также вызывать ошибки, связанные со временем выполнения. В этом случае полезен pytest.approx().

Потокобезопасность

pytest работает в одном потоке: тесты всегда выполняются последовательно в одном и том же потоке, и сам pytest никогда не создаёт дополнительные потоки.

Даже плагины, запускающие тесты параллельно, например pytest-xdist, обычно создают несколько процессов и запускают тесты пакетами, не используя несколько потоков.

Разумеется, тесты и фикстуры могут (и часто так делают) создавать собственные потоки в рамках тестового процесса (например, фикстура может запускать серверный поток в фоновом режиме, а тест — выполнять производственный код, создающий потоки), однако при этом нужно соблюдать осторожность:

• Обязательно дожидайтесь завершения всех созданных потоков — например, в конце теста или при очистке фикстуры.
• Не используйте примитивы pytest (pytest.warns(), pytest.raises() и т. д.) из нескольких потоков, поскольку они не являются потокобезопасными.

Если в вашем наборе тестов используются потоки и результаты тестов нестабильны, не исключайте вероятность того, что тест неявно использует глобальное состояние самого pytest.

Строгий режим xfail

pytest.mark.xfail с strict=False можно использовать, чтобы пометить тест и не допустить, чтобы его ошибка приводила к сбою всей сборки. Это можно считать ручной изоляцией теста, однако постоянно использовать такой подход довольно опасно.

PYTEST_CURRENT_TEST

PYTEST_CURRENT_TEST может пригодиться, чтобы выяснить, «какой тест завис». Дополнительные сведения см. в разделе Переменная среды PYTEST_CURRENT_TEST.

Плагины

Повторный запуск тестов, завершившихся с ошибкой, может смягчить негативные последствия нестабильных тестов, предоставляя им дополнительные шансы пройти и не допуская сбоя всей сборки. Эту возможность поддерживают несколько плагинов pytest:

• pytest-rerunfailures
• pytest-replay: этот плагин помогает локально воспроизводить сбои или нестабильные тесты, обнаруженные во время запусков CI.
• pytest-flakefinder — публикация в блоге

Плагины, намеренно выполняющие тесты в случайном порядке, помогают выявлять тесты с проблемами состояния:

• pytest-random-order
• pytest-randomly

Разделение наборов тестов

Часто один набор тестов разделяют на два, например на модульные и интеграционные тесты, и в качестве условия для прохождения CI используют только набор модульных тестов. Это также помогает поддерживать приемлемое время сборки, поскольку тесты более высокого уровня обычно выполняются медленнее. Однако в результате становится возможным влить изменение кода, приводящее к сбою сборки, поэтому результаты интеграционных тестов нужно отслеживать особенно тщательно.

Видео или снимок экрана при ошибке

Для тестов пользовательского интерфейса это важно, чтобы понять, в каком состоянии находился интерфейс при сбое теста. pytest-splinter можно использовать с такими плагинами, как pytest-bdd; он умеет сохранять снимок экрана при сбое теста, что помогает установить причину.

Удаление или переписывание теста

Если функциональность проверяется другими тестами, возможно, этот тест можно удалить. Если нет, возможно, его можно переписать на более низком уровне, что устранит нестабильность или сделает её источник более очевидным.

Изоляция

Марк Лапьер обсуждает преимущества и недостатки изолированных тестов в публикации 2018 года.

Инструменты CI, повторно запускающие тесты при сбое

В Azure Pipelines (облачном инструменте CI/CD Azure, ранее известном как Visual Studio Team Services или VSTS) есть функция для выявления нестабильных тестов и повторного запуска тестов, завершившихся с ошибкой.