Spec-Zone.ru › TensorFlow 2.3

tf.estimator.experimental.RNNClassifier

Классификатор для моделей TensorFlow RNN.

Наследуется от: RNNEstimator

tf.estimator.experimental.RNNClassifier(
    sequence_feature_columns, context_feature_columns=None, units=None,
    cell_type=USE_DEFAULT, rnn_cell_fn=None, return_sequences=False, model_dir=None,
    n_classes=2, weight_column=None, label_vocabulary=None, optimizer='Adagrad',
    loss_reduction=losses_utils.ReductionV2.SUM_OVER_BATCH_SIZE,
    sequence_mask='sequence_mask', config=None
)

Обучает модель рекуррентной нейронной сети для классификации примеров в один из нескольких классов.

Пример:

token_sequence = sequence_categorical_column_with_hash_bucket(...)
token_emb = embedding_column(categorical_column=token_sequence, ...)

estimator = RNNClassifier(
    sequence_feature_columns=[token_emb],
    units=[32, 16], cell_type='lstm')

# Input builders
def input_fn_train: # returns x, y
  pass
estimator.train(input_fn=input_fn_train, steps=100)

def input_fn_eval: # returns x, y
  pass
metrics = estimator.evaluate(input_fn=input_fn_eval, steps=10)
def input_fn_predict: # returns x, None
  pass
predictions = estimator.predict(input_fn=input_fn_predict)

Входные данные train и evaluate должны содержать следующие атрибуты, иначе возникнет KeyError:

  • если weight_column не равно None, атрибут с именем key=weight_column, значение которого — Tensor.
  • для каждого column в sequence_feature_columns:
    • атрибут с именем key=column.name, значение которого — SparseTensor.
  • для каждого column в context_feature_columns:
    • если column является CategoricalColumn, атрибут с именем key=column.name, значение которого — SparseTensor.
    • если column является WeightedCategoricalColumn, два атрибута: первый с именем столбца key, второй — с именем столбца key. Значения обоих атрибутов должны быть SparseTensor.
    • если column является DenseColumn, атрибут с именем key=column.name, значение которого — Tensor.

Функция потерь вычисляется с помощью кросс-энтропии софтмакс.

Аргументы
sequence_feature_columns Итерируемый объект, содержащий FeatureColumnы, представляющие последовательный вход. Все элементы набора должны быть либо столбцами последовательностей (например, sequence_numeric_column) либо созданы на основе одного из них (например, embedding_column с sequence_categorical_column_* в качестве входных данных).
context_feature_columns Итерируемый объект, содержащий FeatureColumnы для контекстного ввода. Данные, представленные этими столбцами, будут дублироваться и передаваться в RNN на каждом шаге. Эти столбцы должны быть экземплярами классов, производных от DenseColumn (например, numeric_column), а не последовательных вариантов.
units Итерируемый объект, содержащий количество скрытых узлов на каждом слое RNN. Если задано, cell_type также должно быть указано, и rnn_cell_fn должно быть None .
cell_type Класс, создающий ячейку RNN, или строка, определяющая тип ячейки. Поддерживаемые строки: 'simple_rnn', 'lstm', и 'gru'. Если задано, units также должно быть указано, и rnn_cell_fn должно быть None .
rnn_cell_fn Функция, возвращающая экземпляр ячейки RNN, которая будет использоваться для построения RNN. Если задано, units и cell_type не могут быть заданы. Это для расширенных пользователей, которым требуется дополнительная настройка помимо units и cell_type. Обратите внимание, что tf.keras.layers.StackedRNNCells необходим для стопки RNN.
return_sequences Логическое значение, указывающее, следует ли возвращать последний выход в выходной последовательности или полную последовательность. Обратите внимание, что если True, то weight_column должно быть None или строкой.
model_dir Директория для сохранения параметров модели, графа и т. д. Это также можно использовать для загрузки контрольных точек из каталога в оценщик для продолжения обучения ранее сохраненной модели.
n_classes Количество классов меток. По умолчанию 2 (бинарная классификация). Должно быть > 1.
weight_column Строка или NumericColumn, созданная с помощью tf.feature_column.numeric_column, определяющая столбец атрибута, представляющий веса. Используется для уменьшения или увеличения примера во время обучения. Будет умножаться на потерю примера. Если это строка, она используется в качестве ключа для извлечения тензора весов из features. Если это NumericColumn, сырой тензор извлекается по ключу weight_column.key, а затем применяется weight_column.normalizer_fn для получения тензора весов.
label_vocabulary Список строк, представляющих возможные значения меток. Если задано, метки должны быть строкового типа и иметь любое значение в label_vocabulary. Если не задано, это означает, что метки уже закодированы как целые или вещественные числа в [0, 1] для n_classes=2 и закодированы как целые значения в {0, 1,..., n_classes-1} для n_classes>2. Также будут ошибки, если словарь не предоставлен, а метки — строкового типа.
optimizer Экземпляр tf.Optimizer или строка, определяющая тип оптимизатора. По умолчанию используется оптимизатор Adagrad.
loss_reduction Один из tf.losses.Reduction, кроме NONE. Определяет, как уменьшать функцию потерь при обучении по пакету. По умолчанию SUM_OVER_BATCH_SIZE .
sequence_mask Строка с именем тензора маски последовательности. Если sequence_mask находится в словаре атрибутов, используется предоставленный тензор, иначе маска последовательности вычисляется по длине атрибутов последовательности. Маска последовательности используется в режиме оценки и обучения для агрегирования вычислений потерь и метрик, исключая шаги заполнения. Она также добавляется в словарь предсказаний в режиме предсказания, чтобы указать, какие шаги являются шагами заполнения.
config Объект RunConfig для настройки параметров выполнения.
Исключения
ValueError Если units, cell_type, и rnn_cell_fn несовместимы.

Совместимость с Eager

Оценщики несовместимы с Eager execution.

Атрибуты
config
model_dir
model_fn Возвращает model_fn, связанный с self.params .
params

Методы

eval_dir

Посмотреть исходный код

eval_dir(
    name=None
)

Показывает имя директории, куда сохраняются метрики оценки.

Аргументы
name Имя оценки, если необходимо выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращаемое значение
Строка, представляющая путь к директории с метриками оценки.

evaluate

Посмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель на основе данных для оценки input_fn.

На каждом шаге вызывает input_fn, которая возвращает один пакет данных. Оценка выполняется до тех пор, пока:

  • steps пакетов обработаны, или
  • input_fn возникает исключение конца ввода (tf.errors.OutOfRangeError или StopIteration).
Аргументы
input_fn Функция, которая создаёт входные данные для оценки. Смотрите Пределанные оценщики для получения дополнительной информации. Функция должна создать и вернуть один из следующих вариантов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): Где features — tf.Tensor или словарь имен атрибутов к Tensor, а labels — Tensor или словарь имен меток к Tensor. Оба features и labels используются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
steps Количество шагов для оценки модели. Если None, оценка выполняется до тех пор, пока input_fn не вызовет исключение конца ввода.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова оценки.
checkpoint_path Путь к определённой контрольной точке для оценки. Если None, используется последняя контрольная точка в model_dir . Если в model_dir нет контрольных точек, оценка выполняется с вновь инициализированным Variables вместо восстановленных из контрольной точки.
name Имя оценки, если необходимо выполнить несколько оценок на разных наборах данных, например, на обучающих и тестовых данных. Метрики для разных оценок сохраняются в отдельных папках и отображаются отдельно в tensorboard.
Возвращаемое значение
Словарь, содержащий метрики оценки, указанные в model_fn с ключами по имени, а также запись global_step, которая содержит значение глобального шага, на котором была выполнена эта оценка. Для стандартных оценщиков словарь содержит loss (средняя потеря на мини-пакет) и average_loss (средняя потеря на образец). Стандартные классификаторы также возвращают accuracy. Стандартные регрессоры также возвращают label/mean и prediction/mean .
Исключения
ValueError Если steps <= 0.

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графу, вызывая input_receiver_fn для получения функций и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графы модели на основе этих функций и меток, и восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в графу. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), так что до трёх tf.MetaGraphDefs сохраняются с одной набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта с отметкой времени ниже export_dir_base, и записывается SavedModel в него, содержащий tf.MetaGraphDef для данного режима и его связанных подписей.

Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращённого model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использована, когда запрос обслуживания не указывает её. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — приемниками входных данных, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а потери, метрики и предсказания включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь к исходному файлу для копирования. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Аргументы
export_dir_base Строка, содержащая каталог, в котором должны создаваться подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
input_receiver_fn_map Словарь сопоставлений tf.estimator.ModeKeys к input_receiver_fn, где input_receiver_fn — функция, не принимающая аргументов и возвращающая соответствующий подкласс InputReceiver.
assets_extra Словарь, определяющий способ заполнения каталога assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не нужны.
as_text нужно ли записать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
Возвращает
Путь к экспортированному каталогу в виде объекта байтов.
Исключения
ValueError если любой input_receiver_fn None, не предоставлены export_outputs или не найден контрольный пункт.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует графу вывода как SavedModel в указанный каталог.

Для подробного руководства см. SavedModel от Estimators.

Этот метод создаёт новую графу, сначала вызывая serving_input_receiver_fn для получения функций Tensor, а затем вызывая Estimator's model_fn для генерации графы модели на основе этих функций. Он восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже указанного export_dir_base, и записывает SavedModel в него, содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs возвращённого model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использоваться, когда запрос обслуживания не указывает её. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — приемниками входных данных, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь к исходному файлу для копирования. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может использоваться для экспорта единственной графы train/eval/predict в виде SavedModel. См. experimental_export_all_saved_models для полного описания.

Аргументы
export_dir_base Строка, содержащая каталог, в котором должны создаваться подкаталоги с отметкой времени, содержащие экспортированные SavedModels.
serving_input_receiver_fn Функция, не принимающая аргументов и возвращающая tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий способ заполнения каталога assets.extra внутри экспортированного SavedModel, или None если дополнительные ресурсы не нужны.
as_text нужно ли записать протокол SavedModel в текстовом формате.
checkpoint_path Путь к контрольному пункту для экспорта. Если None (по умолчанию), выбирается последний контрольный пункт, найденный в каталоге модели.
experimental_mode Значение tf.estimator.ModeKeys указывающее, какой режим будет экспортирован. Обратите внимание, что эта функция является экспериментальной.
Возвращает
Путь к экспортированному каталогу в виде объекта байтов.
Исключения
ValueError если не предоставлен serving_input_receiver_fn, не предоставлены export_outputs или не найден контрольный пункт.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует графу вывода как SavedModel в указанный каталог. (устарело)

Предупреждение: ЭТА ФУНКЦИЯ УСТАРЕЛА. Она будет удалена в будущей версии. Инструкции по обновлению: Эта функция была переименована, используйте export_saved_model вместо неё.

Для подробного руководства см. SavedModel от Estimators.

Этот метод создаёт новую графу, сначала вызывая serving_input_receiver_fn для получения функций Tensor, а затем вызывая Estimator's model_fn для генерации графы модели на основе этих функций. Он восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта с отметкой времени ниже указанного export_dir_base, и записывает SavedModel в него, содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs возвращённого model_fn, с использованием тех же ключей. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использоваться, когда запрос обслуживания не указывает её. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutputs, а входные данные всегда — приемниками входных данных, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение — полный путь к исходному файлу для копирования. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Args
export_dir_base Строка, содержащая директорию, в которой будут созданы поддиректории с отметками времени, содержащие экспортированные SavedModelы.
serving_input_receiver_fn Функция, которая не принимает аргументов и возвращает tf.estimator.export.ServingInputReceiver или tf.estimator.export.TensorServingInputReceiver.
assets_extra Словарь, определяющий, как заполнить директорию assets.extra в экспортированной SavedModel, или None если дополнительные ресурсы не нужны.
as_text Нужно ли записать прото SavedModel в текстовом формате.
checkpoint_path Путь к контрольной точке для экспорта. Если None (по умолчанию), выбирается самая последняя контрольная точка, найденная в каталоге модели.
strip_default_attrs Булево значение. Если True, атрибуты с значениями по умолчанию будут удалены из NodeDefов. Для подробного руководства см. Удаление атрибутов со значениями по умолчанию.
Returns
Путь к экспортированной директории в виде объекта байтов.
Raises
ValueError если не предоставлена serving_input_receiver_fn, не предоставлены export_outputs, или не найдена контрольная точка.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

Returns
Список имён.
Raises
ValueError Если Estimator ещё не создал контрольную точку.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

Args
name Строка или список строк, имя тензора.
Returns
Массив NumPy - значение тензора.
Raises
ValueError Если Estimator ещё не создал контрольную точку.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

Returns
Полный путь к последней контрольной точке или None если контрольная точка не найдена.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что интерливирование двух результатов предсказания не работает. См.: вопрос/20506

Args
input_fn Функция, которая строит признаки. Предсказание продолжается до тех пор, пока input_fn не поднимет исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration). См. Предопределённые модели для получения дополнительной информации. Функция должна создавать и возвращать один из следующих элементов:
  • tf.data.Dataset объект — Выходы объекта Dataset должны удовлетворять тем же ограничениям, что и ниже.
  • признаки — tf.Tensor или словарь имён признаков (строки) к Tensor. Признаки потребляются model_fn. Они должны соответствовать ожиданиям model_fn от входных данных.
  • Кортеж, в этом случае извлекается первый элемент в качестве признаков.
predict_keys Список str имен ключей для предсказания. Используется, если tf.estimator.EstimatorSpec.predictions является dict. Если predict_keys используется, остальные предсказания будут отфильтрованы из словаря. Если None, возвращает все.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри вызова предсказания.
checkpoint_path Путь к конкретной контрольной точке для предсказания. Если None, используется последняя контрольная точка в model_dir. Если контрольных точек в model_dir нет, предсказание выполняется с вновь инициализированными Variables вместо восстановленных из контрольной точки.
yield_single_examples Если False, возвращает всю партию, как возвращает model_fn, вместо разбиения партии на отдельные элементы. Это полезно, если model_fn возвращает некоторые тензоры, первая размерность которых не равна размеру партии.

Возвращает:

Вычисленные значения тензоров predictions.

Raises
ValueError Если длина партии предсказаний не одинаковая и yield_single_examples — True.
ValueError Если существует конфликт между predict_keys и predictions. Например, если predict_keys не None но tf.estimator.EstimatorSpec.predictions не dict.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

Args
input_fn Функция, предоставляющая входные данные для обучения в виде мини-пакетов. См. Предопределённые модели для получения дополнительной информации. Функция должна создавать и возвращать один из следующих элементов:
  • Объект tf.data.Dataset: Выходы объекта Dataset должны быть кортежем (features, labels) с теми же ограничениями, что и ниже.
  • Кортеж (features, labels): где features — tf.Tensor или словарь имён признаков (строки) к Tensor, а labels — Tensor или словарь имён меток (строки) к Tensor. И features, и labels потребляются model_fn. Они должны удовлетворять ожиданиям model_fn от входных данных.
hooks Список экземпляров подклассов tf.train.SessionRunHook. Используется для обратных вызовов внутри цикла обучения.
steps Число шагов, на которых необходимо обучить модель. Если None, обучение будет вечным или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. steps работает инкрементально. Если вы вызовете train(steps=10) дважды, обучение произойдёт в общей сложности 20 шагов. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до 20 шагов. Если вы не хотите инкрементального поведения, задайте max_steps вместо этого. Если задано, max_steps должно быть None.
max_steps Общее количество шагов для обучения модели. Если None, обучение будет вечным или до тех пор, пока input_fn не сгенерирует ошибку tf.errors.OutOfRange или исключение StopIteration. Если задано, steps должно быть None. Если OutOfRange или StopIteration произойдёт в середине, обучение остановится до max_steps шагов. Два вызова train(steps=100) означают 200 итераций обучения. С другой стороны, два вызова train(max_steps=100) означают, что второй вызов не выполнит ни одной итерации, так как первый выполнил все 100 шагов.
saving_listeners Список объектов CheckpointSaverListener. Используется для обратных вызовов, выполняемых непосредственно перед или после сохранения контрольной точки.
Returns
self, для цепочки вызовов.
Возникающие исключения
ValueError Если и steps, и max_steps не являются None.
ValueError Если либо steps, либо max_steps <= 0.

© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/estimator/experimental/RNNClassifier

Spec-Zone.ru

Настройки Оффлайн Что нового Помощь О нас
Spec-Zone .ru
спецификации, руководства, описания, API