Инструментирование CPython с помощью DTrace и SystemTap

Включение статических меток

macOS поставляется со встроенной поддержкой DTrace. В Linux для компиляции CPython со встроенными метками SystemTap необходимо установить инструменты разработки SystemTap.

В системе Linux это можно сделать с помощью:

$ yum install systemtap-sdt-devel

или:

$ sudo apt-get install systemtap-sdt-dev

Затем CPython необходимо configured with the --with-dtrace option:

checking for --with-dtrace... yes

В macOS вы можете перечислить доступные зонды DTrace, запустив процесс Python в фоновом режиме и перечислив все зонды, предоставленные поставщиком Python:

$ python3.6 -q &
$ sudo dtrace -l -P python$!  # or: dtrace -l -m python3.6

   ID   PROVIDER            MODULE                          FUNCTION NAME
29564 python18035        python3.6          _PyEval_EvalFrameDefault function-entry
29565 python18035        python3.6             dtrace_function_entry function-entry
29566 python18035        python3.6          _PyEval_EvalFrameDefault function-return
29567 python18035        python3.6            dtrace_function_return function-return
29568 python18035        python3.6                           collect gc-done
29569 python18035        python3.6                           collect gc-start
29570 python18035        python3.6          _PyEval_EvalFrameDefault line
29571 python18035        python3.6                 maybe_dtrace_line line

В Linux вы можете проверить, присутствуют ли статические метки SystemTap в скомпилированном двоичном файле, проверив, содержит ли он раздел «.note.stapsdt».

$ readelf -S ./python | grep .note.stapsdt
[30] .note.stapsdt        NOTE         0000000000000000 00308d78

Если вы скомпилировали Python как общую библиотеку (с опцией конфигурации --enable-shared), вам необходимо искать внутри общей библиотеки. Например:

$ readelf -S libpython3.3dm.so.1.0 | grep .note.stapsdt
[29] .note.stapsdt        NOTE         0000000000000000 00365b68

Достаточно современный readelf может вывести метаданные:

$ readelf -n ./python

Displaying notes found at file offset 0x00000254 with length 0x00000020:
    Owner                 Data size          Description
    GNU                  0x00000010          NT_GNU_ABI_TAG (ABI version tag)
        OS: Linux, ABI: 2.6.32

Displaying notes found at file offset 0x00000274 with length 0x00000024:
    Owner                 Data size          Description
    GNU                  0x00000014          NT_GNU_BUILD_ID (unique build ID bitstring)
        Build ID: df924a2b08a7e89f6e11251d4602022977af2670

Displaying notes found at file offset 0x002d6c30 with length 0x00000144:
    Owner                 Data size          Description
    stapsdt              0x00000031          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: gc__start
        Location: 0x00000000004371c3, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf6
        Arguments: -4@%ebx
    stapsdt              0x00000030          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: gc__done
        Location: 0x00000000004374e1, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bf8
        Arguments: -8@%rax
    stapsdt              0x00000045          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: function__entry
        Location: 0x000000000053db6c, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6be8
        Arguments: 8@%rbp 8@%r12 -4@%eax
    stapsdt              0x00000046          NT_STAPSDT (SystemTap probe descriptors)
        Provider: python
        Name: function__return
        Location: 0x000000000053dba8, Base: 0x0000000000630ce2, Semaphore: 0x00000000008d6bea
        Arguments: 8@%rbp 8@%r12 -4@%eax

Вышеуказанные метаданные содержат информацию для SystemTap, описывающую, как он может подменить стратегически размещенные инструкции машинного кода, чтобы включить крючки отслеживания, используемые скриптом SystemTap.

Статические зонды DTrace

Следующий пример скрипта DTrace может использоваться для отображения иерархии вызовов/возврата скрипта Python, отслеживая только вызовы функции «start». Другими словами, вызовы функций во время импорта не будут отображаться:

self int indent;

python$target:::function-entry
/copyinstr(arg1) == "start"/
{
        self->trace = 1;
}

python$target:::function-entry
/self->trace/
{
        printf("%d\t%*s:", timestamp, 15, probename);
        printf("%*s", self->indent, "");
        printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
        self->indent++;
}

python$target:::function-return
/self->trace/
{
        self->indent--;
        printf("%d\t%*s:", timestamp, 15, probename);
        printf("%*s", self->indent, "");
        printf("%s:%s:%d\n", basename(copyinstr(arg0)), copyinstr(arg1), arg2);
}

python$target:::function-return
/copyinstr(arg1) == "start"/
{
        self->trace = 0;
}

Его можно вызвать следующим образом:

$ sudo dtrace -q -s call_stack.d -c "python3.6 script.py"

Вывод выглядит следующим образом:

156641360502280  function-entry:call_stack.py:start:23
156641360518804  function-entry: call_stack.py:function_1:1
156641360532797  function-entry:  call_stack.py:function_3:9
156641360546807 function-return:  call_stack.py:function_3:10
156641360563367 function-return: call_stack.py:function_1:2
156641360578365  function-entry: call_stack.py:function_2:5
156641360591757  function-entry:  call_stack.py:function_1:1
156641360605556  function-entry:   call_stack.py:function_3:9
156641360617482 function-return:   call_stack.py:function_3:10
156641360629814 function-return:  call_stack.py:function_1:2
156641360642285 function-return: call_stack.py:function_2:6
156641360656770  function-entry: call_stack.py:function_3:9
156641360669707 function-return: call_stack.py:function_3:10
156641360687853  function-entry: call_stack.py:function_4:13
156641360700719 function-return: call_stack.py:function_4:14
156641360719640  function-entry: call_stack.py:function_5:18
156641360732567 function-return: call_stack.py:function_5:21
156641360747370 function-return:call_stack.py:start:28

Статические метки SystemTap

Способ низкого уровня использования интеграции SystemTap — это использование статических меток непосредственно. Это требует явного указания двоичного файла, содержащего их.

Например, этот скрипт SystemTap можно использовать для отображения иерархии вызовов/возврата скрипта Python:

probe process("python").mark("function__entry") {
     filename = user_string($arg1);
     funcname = user_string($arg2);
     lineno = $arg3;

     printf("%s => %s in %s:%d\\n",
            thread_indent(1), funcname, filename, lineno);
}

probe process("python").mark("function__return") {
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;

    printf("%s <= %s in %s:%d\\n",
           thread_indent(-1), funcname, filename, lineno);
}

Его можно вызвать следующим образом:

$ stap \
  show-call-hierarchy.stp \
  -c "./python test.py"

Вывод выглядит следующим образом:

11408 python(8274):        => __contains__ in Lib/_abcoll.py:362
11414 python(8274):         => __getitem__ in Lib/os.py:425
11418 python(8274):          => encode in Lib/os.py:490
11424 python(8274):          <= encode in Lib/os.py:493
11428 python(8274):         <= __getitem__ in Lib/os.py:426
11433 python(8274):        <= __contains__ in Lib/_abcoll.py:366

где столбцы:

• время в микросекундах с момента запуска скрипта
• имя исполняемого файла
• PID процесса

и остальное указывает иерархию вызовов/возвратов по мере выполнения скрипта.

Для --enable-shared сборки CPython метки содержатся в общей библиотеке libpython, и путь к зонду с точкой должен отражать это. Например, эта строка из приведенного выше примера:

probe process("python").mark("function__entry") {

должна быть изменена на:

probe process("python").library("libpython3.6dm.so.1.0").mark("function__entry") {

(при условии дебажной сборки CPython 3.6)

Доступные статические метки

function__entry(str filename, str funcname, int lineno)

Эта метка указывает на то, что выполнение функции Python началось. Она срабатывает только для чисто-Python функций (байткода).

Имя файла, имя функции и номер строки возвращаются скрипту отслеживания в качестве позиционных аргументов, которые необходимо получить с помощью $arg1, $arg2, $arg3:

• $arg1 : (const char *) имя файла, доступное с помощью user_string($arg1)
• $arg2 : (const char *) имя функции, доступное с помощью user_string($arg2)
• $arg3 : int номер строки

function__return(str filename, str funcname, int lineno)

Эта метка является обратной к function__entry(), и указывает на то, что выполнение функции Python завершилось (либо через return, либо через исключение). Она срабатывает только для чисто-Python функций (байткода).

Аргументы такие же, как и для function__entry()

line(str filename, str funcname, int lineno)

Эта метка указывает, что строка Python собирается выполниться. Она эквивалентна отслеживанию по строкам с помощью профайлера Python. Она не срабатывает внутри C функций.

Аргументы такие же, как и для function__entry().

gc__start(int generation)

Выполняется, когда интерпретатор Python запускает цикл сбора мусора. arg0 — это номер поколения, которое необходимо просканировать, аналогично gc.collect().

gc__done(long collected)

Выполняется, когда интерпретатор Python завершает цикл сбора мусора. arg0 — это количество собранных объектов.

import__find__load__start(str modulename)

Выполняется перед тем, как importlib пытается найти и загрузить модуль. arg0 — это имя модуля.

Добавлен в версии 3.7.

import__find__load__done(str modulename, int found)

Выполняется после вызова функции find_and_load importlib. arg0 — это имя модуля, arg1 указывает, был ли модуль успешно загружен.

Добавлен в версии 3.7.

audit(str event, void *tuple)

Выполняется, когда вызывается sys.audit() или PySys_Audit(). arg0 — это имя события в виде C строки, arg1 — это указатель PyObject на объект кортежа.

Добавлен в версии 3.8.

Наборы прослушиваний SystemTap

Более высокий уровень использования интеграции SystemTap — это использование «набора прослушиваний»: аналог библиотеки SystemTap, который скрывает некоторые низкоуровневые детали статических меток.

Вот файл набора прослушиваний, основанный на сборке CPython без общей библиотеки:

/*
   Provide a higher-level wrapping around the function__entry and
   function__return markers:
 \*/
probe python.function.entry = process("python").mark("function__entry")
{
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;
    frameptr = $arg4
}
probe python.function.return = process("python").mark("function__return")
{
    filename = user_string($arg1);
    funcname = user_string($arg2);
    lineno = $arg3;
    frameptr = $arg4
}

Если этот файл установлен в директории наборов прослушиваний SystemTap (например, /usr/share/systemtap/tapset), то эти дополнительные точки прослушивания становятся доступными:

python.function.entry(str filename, str funcname, int lineno, frameptr)

Эта точка прослушивания указывает на то, что выполнение функции Python началось. Она срабатывает только для чисто-Python функций (байткода).

python.function.return(str filename, str funcname, int lineno, frameptr)

Эта точка прослушивания является обратной к python.function.return, и указывает на то, что выполнение функции Python завершилось (либо через return, либо через исключение). Она срабатывает только для чисто-Python функций (байткода).

Примеры

Этот скрипт SystemTap использует набор прослушиваний выше, чтобы более чисто реализовать пример, приведенный выше, по отслеживанию иерархии вызовов функций Python, без необходимости прямо называть статические метки:

probe python.function.entry
{
  printf("%s => %s in %s:%d\n",
         thread_indent(1), funcname, filename, lineno);
}

probe python.function.return
{
  printf("%s <= %s in %s:%d\n",
         thread_indent(-1), funcname, filename, lineno);
}

Следующий скрипт использует набор прослушиваний выше, чтобы предоставить вид сверху всех работающих кодов CPython, отображая 20 наиболее часто входимых фреймов байткода, каждую секунду, по всей системе:

global fn_calls;

probe python.function.entry
{
    fn_calls[pid(), filename, funcname, lineno] += 1;
}

probe timer.ms(1000) {
    printf("\033[2J\033[1;1H") /* clear screen \*/
    printf("%6s %80s %6s %30s %6s\n",
           "PID", "FILENAME", "LINE", "FUNCTION", "CALLS")
    foreach ([pid, filename, funcname, lineno] in fn_calls- limit 20) {
        printf("%6d %80s %6d %30s %6d\n",
            pid, filename, lineno, funcname,
            fn_calls[pid, filename, funcname, lineno]);
    }
    delete fn_calls;
}