Инструменты расширенной отладки

Отладочная сборка Python

Отладочные сборки Python легко доступны, например, через менеджер пакетов системы на Linux-системах, но также доступны и на других платформах, возможно, в менее удобном формате. Если вы не можете легко установить отладочную сборку Python из менеджера пакетов системы, вы можете создать её самостоятельно с помощью pyenv. Например, для установки и глобальной активации отладочной сборки Python 3.10.8 можно выполнить:

pyenv install -g 3.10.8
pyenv global 3.10.8

Обратите внимание, что pyenv install компилирует Python из исходного кода, поэтому необходимо убедиться, что зависимости Python установлены до компиляции. См. документацию pyenv для инструкций по установке, специфичных для платформы. Вы можете использовать pip для установки необходимых зависимостей Python для вашей сессии отладки. Если нет debug-пакета для pypi,, вам необходимо скомпилировать зависимости из исходного кода и убедиться, что ваши зависимости также скомпилированы как debug-сборки.

Часто отладочные сборки Python называют исполняемый файл Python pythond вместо python. Чтобы проверить, установлена ли у вас отладочная сборка Python, вы можете запустить, например, pythond -m sysconfig для получения конфигурации сборки для исполняемого файла Python. Отладочная сборка будет скомпилирована с отладочными параметрами компилятора в CFLAGS (например, -g -Og).

Запуск тестов NumPy или интерактивной оболочки обычно выполняется так же просто, как:

python3.8d runtests.py
# or
python3.8d runtests.py --ipython

и уже упоминался в Отладке.

Отладочная сборка Python поможет:

• Найти ошибки, которые могут в противном случае привести к непредсказуемому поведению. Одним примером является ситуация, когда объект по-прежнему используется после того, как он был удалён.

• Отладочные сборки Python позволяют проверить правильность подсчёта ссылок. Для этого используются дополнительные команды:

  sys.gettotalrefcount()
  sys.getallocatedblocks()
  

• Отладочные сборки Python упрощают отладку с помощью gdb и других отладчиков C.

@pytest.fixture(autouse=True)
def add_np(doctest_namespace):
    doctest_namespace['np'] = numpy

@pytest.fixture(autouse=True)
def env_setup(monkeypatch):
    monkeypatch.setenv('PYTHONHASHSEED', '0')

python3.8d runtests.py -t numpy/_core/tests/test_multiarray.py -- -R2:3 -s

valgrind

Valgrind — мощный инструмент для поиска определённых проблем с доступом к памяти и должен использоваться для сложного C-кода. Базовое использование valgrind обычно не требует более чем:

PYTHONMALLOC=malloc valgrind python runtests.py

где PYTHONMALLOC=malloc необходимо, чтобы избежать ложных срабатываний со стороны самого Python. В зависимости от системы и версии valgrind, вы можете столкнуться с более ложными срабатываниями. valgrind поддерживает «подавления», чтобы игнорировать некоторые из них, и у Python есть файл подавления (даже опция компиляции), которые могут помочь, если это необходимо.

Valgrind помогает:

• Найти использование неинициализированных переменных/памяти.
• Обнаружить нарушения доступа к памяти (чтение или запись за пределами выделенной памяти).

• Найти множество утечек памяти. Обратите внимание, что для большинства утечек подход с отладочной сборкой Python (и pytest-leaks) гораздо более чувствителен. Причина в том, что valgrind может обнаружить только то, что память определённо потеряна. Если:

  dtype = np.dtype(np.int64)
  arr.astype(dtype=dtype)
  

  имеет неправильный подсчёт ссылок для dtype, это ошибка, но valgrind не может её увидеть, потому что np.dtype(np.int64) всегда возвращает тот же объект. Однако не все типы данных являются синглтонами, поэтому это может привести к утечке памяти для различных входных данных. В редких случаях NumPy использует malloc а не менеджеры памяти Python, которые не видны для отладочной сборки Python. malloc обычно следует избегать, но есть исключения (например, структура PyArray_Dims — это публичный API и не может использовать менеджеры памяти Python).

Несмотря на то, что использование valgrind для обнаружения утечек памяти медленное и менее чувствительное, оно может быть удобным: вы можете запускать большинство программ с valgrind без модификаций.

Следует учитывать:

• Valgrind не поддерживает longdouble, это означает, что тесты будут провалены или помечены как ошибки, которые являются вполне допустимыми.
• Ожидайте некоторые ошибки до и после выполнения вашего кода NumPy.
• Кэши могут означать, что ошибки (в частности, утечки памяти) могут не быть обнаружены или обнаруживаются позже, в несвязанное время.

Большим преимуществом valgrind является то, что у него нет требований помимо самого valgrind (хотя вы, вероятно, захотите использовать отладочные сборки для лучших отслеживаний).

PYTHOMMALLOC=malloc valgrind python runtests.py \
 -t numpy/_core/tests/test_multiarray.py -- --continue-on-collection-errors