tf.profiler.ProfileOptionBuilder

Построитель параметров для профилирования API.

tf.profiler.ProfileOptionBuilder(
    options=None
)

Для ознакомления с параметрами см. https://github.com/tensorflow/tensorflow/tree/master/tensorflow/core/profiler/g3doc/options.md

# Users can use pre-built options:
opts = (
    tf.profiler.ProfileOptionBuilder.trainable_variables_parameter())

# Or, build your own options:
opts = (tf.compat.v1.profiler.ProfileOptionBuilder()
    .with_max_depth(10)
    .with_min_micros(1000)
    .select(['accelerator_micros'])
    .with_stdout_output()
    .build()

# Or customize the pre-built options:
opts = (tf.compat.v1.profiler.ProfileOptionBuilder(
    tf.profiler.ProfileOptionBuilder.time_and_memory())
    .with_displaying_options(show_name_regexes=['.*rnn.*'])
    .build())

# Finally, profiling with the options:
_ = tf.compat.v1.profiler.profile(tf.compat.v1.get_default_graph(),
                        run_meta=run_meta,
                        cmd='scope',
                        options=opts)

Методы

account_displayed_op_only

Просмотреть исходный код

account_displayed_op_only(
    is_true
)

Учитывать только статистику отображаемых узлов профилировщика.

build

Просмотреть исходный код

build()

Создать параметр профилирования.

float_operation

Просмотреть исходный код

@staticmethod
float_operation()

Параметры, используемые для профилирования операций с плавающей точкой.

См. https://github.com/tensorflow/tensorflow/tree/master/tensorflow/core/profiler/g3doc/profile_model_architecture.md о нюансах вычисления операций с плавающей точкой.

order_by

Просмотреть исходный код

order_by(
    attribute
)

Сортировать отображаемые узлы профилировщика по атрибуту.

Поддерживаемые атрибуты включают микросекунды, байты, количество появлений, параметры и т. д. https://github.com/tensorflow/tensorflow/tree/master/tensorflow/core/profiler/g3doc/options.md

select

Просмотреть исходный код

select(
    attributes
)

Выбрать атрибуты для отображения.

См. https://github.com/tensorflow/tensorflow/tree/master/tensorflow/core/profiler/g3doc/options.md для поддержки атрибутов.

time_and_memory

Просмотреть исходный код

@staticmethod
time_and_memory(
    min_micros=1, min_bytes=1, min_accelerator_micros=0, min_cpu_micros=0,
    min_peak_bytes=0, min_residual_bytes=0, min_output_bytes=0
)

Показать время выполнения и потребление памяти операций.

trainable_variables_parameter

Просмотреть исходный код

@staticmethod
trainable_variables_parameter()

Параметры, используемые для профилирования параметров обучаемых переменных.

Обычно используется вместе с представлением 'scope'.

with_accounted_types

Просмотреть исходный код

with_accounted_types(
    account_type_regexes
)

Селективное подсчёт статистики на основе типов узлов.

Здесь 'types' означает свойства узлов профилировщика. По умолчанию профилировщик учитывает имя устройства (например, /job:xx/.../device:GPU:0) и тип операции (например, MatMul) как свойства узлов профилировщика. Пользователь также может ассоциировать настраиваемые 'types' с узлами профилировщика через протокол OpLogProto.

Например, пользователь может выбрать узлы профилировщика, размещённые на gpu:0 с помощью: account_type_regexes=['.*gpu:0.*']

Если ни одно из свойств узла не соответствует указанным выражениям регулярных выражений, узел не отображается и не учитывается.

with_empty_output

Просмотреть исходный код

with_empty_output()

Не генерировать побочные выводы.

with_file_output

Просмотреть исходный код

with_file_output(
    outfile
)

Вывести результат в файл.

with_max_depth

Просмотреть исходный код

with_max_depth(
    max_depth
)

Установить максимальную глубину отображения.

Глубина зависит от вида профилирования. Для представления 'scope' это глубина иерархии именованных областей (дерево), для представления 'op' это количество типов операций (список) и т.д.

with_min_execution_time

Просмотреть исходный код

with_min_execution_time(
    min_micros=0, min_accelerator_micros=0, min_cpu_micros=0
)

Отображать только узлы профилировщика, затратившие не меньше 'min_micros' времени.

with_min_float_operations

Просмотр исходного кода

with_min_float_operations(
    min_float_ops
)

Показывать только узлы профилировщика, потребляющие не менее 'min_float_ops'.

См. https://github.com/tensorflow/tensorflow/tree/master/tensorflow/core/profiler/g3doc/profile_model_architecture.md о предосторожностях при расчете операций с плавающей точкой.

with_min_memory

Просмотр исходного кода

with_min_memory(
    min_bytes=0, min_peak_bytes=0, min_residual_bytes=0, min_output_bytes=0
)

Показывать только узлы профилировщика, потребляющие не менее 'min_bytes'.

with_min_occurrence

Просмотр исходного кода

with_min_occurrence(
    min_occurrence
)

Показывать только узлы профилировщика, содержащие не менее 'min_occurrence' узлов графа.

«Узел» означает узел вывода профилировщика, который может быть строкой Python (вид кода), типом операции (вид операции) или узлом графа (вид графа/области). Строка Python включает все узлы графа, созданные этой строкой, в то время как тип операции включает все узлы графа этого типа.

with_min_parameters

Просмотр исходного кода

with_min_parameters(
    min_params
)

Показывать только узлы профилировщика, содержащие не менее 'min_params' параметров.

«Параметры» обычно относятся к весам переменных TensorFlow. Это отражает «емкость» моделей.

with_node_names

Просмотр исходного кода

with_node_names(
    start_name_regexes=None, show_name_regexes=None, hide_name_regexes=None,
    trim_name_regexes=None
)

Регулярные выражения для выбора узлов профилировщика для отображения.

После вычисления 'with_accounted_types', 'with_node_names' вычисляются следующим образом:

Для структуры данных профиля профилировщик сначала находит узлы профилировщика, соответствующие 'start_name_regexes', и начинает отображать узлы профилировщика оттуда. Затем, если узел соответствует 'show_name_regexes' и не соответствует 'hide_name_regexes', он отображается. Если узел соответствует 'trim_name_regexes', профилировщик прекращает дальнейший поиск по этому ответвлению.

with_pprof_output

Просмотр исходного кода

with_pprof_output(
    pprof_file
)

Генерировать файл профиля pprof в формате gzip.

Для использования файла pprof:

pprof -png --nodecount=100 --sample_index=1

with_stdout_output

Просмотр исходного кода

with_stdout_output()

Вывести результат в стандартный вывод.

with_step

Просмотр исходного кода

with_step(
    step
)

Какой шаг профилирования использовать.

Здесь 'шаг' относится к шагу, определенному API Profiler.add_step().

with_timeline_output

Просмотр исходного кода

with_timeline_output(
    timeline_file
)

Сгенерировать файл трассировки в формате json.