tf.estimator.RegressionHead
| Просмотреть исходный код на GitHub |
Создаёт Head для регрессии с использованием функции потерь mean_squared_error.
Наследуется от: Head
tf.estimator.RegressionHead(
label_dimension=1, weight_column=None,
loss_reduction=losses_utils.ReductionV2.SUM_OVER_BATCH_SIZE, loss_fn=None,
inverse_link_fn=None, name=None
)
Функция потерь представляет собой взвешенную сумму по всем измерениям входных данных. То есть, если входные метки имеют форму [batch_size, label_dimension], функция потерь представляет собой взвешенную сумму как по batch_size, так и по label_dimension.
Этот метод ожидает logits с формой [D0, D1, ... DN, label_dimension]. В многих приложениях форма имеет вид [batch_size, label_dimension].
Форма labels должна соответствовать форме logits, а именно [D0, D1, ... DN, label_dimension]. Если label_dimension=1, также поддерживается форма [D0, D1, ... DN].
Если указан weight_column, веса должны иметь форму [D0, D1, ... DN], [D0, D1, ... DN, 1] или [D0, D1, ... DN, label_dimension].
Поддерживает пользовательские loss_fn. loss_fn принимает (labels, logits) или (labels, logits, features, loss_reduction) в качестве аргументов и возвращает нередуцированную функцию потерь с формой [D0, D1, ... DN, label_dimension].
Также поддерживает пользовательскую inverse_link_fn, также известную как 'функция среднего значения'. inverse_link_fn используется только в режиме PREDICT. Она принимает logits в качестве аргумента и возвращает предсказанные значения. Эта функция является обратной связью для функции связи, определённой в https://en.wikipedia.org/wiki/Generalized_linear_model#Link_function. Например, для регрессии Пуассона, установите inverse_link_fn=tf.exp.
Использование:
head = tf.estimator.RegressionHead()
logits = np.array(((45,), (41,),), dtype=np.float32)
labels = np.array(((43,), (44,),), dtype=np.int32)
features = {'x': np.array(((42,),), dtype=np.float32)}
# expected_loss = weighted_loss / batch_size
# = (43-45)^2 + (44-41)^2 / 2 = 6.50
loss = head.loss(labels, logits, features=features)
print('{:.2f}'.format(loss.numpy()))
6.50
eval_metrics = head.metrics()
updated_metrics = head.update_metrics(
eval_metrics, features, logits, labels)
for k in sorted(updated_metrics):
print('{} : {:.2f}'.format(k, updated_metrics[k].result().numpy()))
average_loss : 6.50
label/mean : 43.50
prediction/mean : 43.00
preds = head.predictions(logits)
print(preds['predictions'])
tf.Tensor(
[[45.]
[41.]], shape=(2, 1), dtype=float32)
Использование с готовым оценщиком:
my_head = tf.estimator.RegressionHead()
my_estimator = tf.estimator.DNNEstimator(
head=my_head,
hidden_units=...,
feature_columns=...)
Также может быть использовано с пользовательским model_fn. Пример:
def _my_model_fn(features, labels, mode):
my_head = tf.estimator.RegressionHead()
logits = tf.keras.Model(...)(features)
return my_head.create_estimator_spec(
features=features,
mode=mode,
labels=labels,
optimizer=tf.keras.optimizers.Adagrad(lr=0.1),
logits=logits)
my_estimator = tf.estimator.Estimator(model_fn=_my_model_fn)
| Аргументы | |
|---|---|
weight_column | Строка или NumericColumn, созданная с помощью tf.feature_column.numeric_column, определяющая столбец признаков, представляющий веса. Используется для уменьшения или увеличения важности примеров во время обучения. Будет умножаться на функцию потерь примера. |
label_dimension | Количество меток регрессии на пример. Это размер последнего измерения меток Tensor (как правило, имеет форму [batch_size, label_dimension]). |
loss_reduction | Один из tf.losses.Reduction, кроме NONE. Определяет, как уменьшить функцию потерь при обучении по батчам и измерениям меток. По умолчанию SUM_OVER_BATCH_SIZE, а именно взвешенная сумма потерь, разделённая на batch_size * label_dimension. |
loss_fn | Необязательная функция потерь. По умолчанию mean_squared_error. |
inverse_link_fn | Необязательная обратная функция связи, также известная как 'функция среднего значения'. По умолчанию тождественная функция. |
name | Имя головки. При указании, ключи суммарных данных и метрик будут завершаться суффиксом "/" + name. Также используется в качестве name_scope при создании операций. |
| Атрибуты | |
|---|---|
logits_dimension | См. base_head.Head для деталей. |
loss_reduction | См. base_head.Head для деталей. |
name | См. base_head.Head для деталей. |
Методы
create_estimator_spec
create_estimator_spec(
features, mode, logits, labels=None, optimizer=None, trainable_variables=None,
train_op_fn=None, update_ops=None, regularization_losses=None
)
Возвращает EstimatorSpec для model_fn.
Рекомендуется передавать все аргументы через имя.
| Аргументы | |
|---|---|
features | Входное dict отображение имён признаков в виде строк на Tensor или SparseTensor объекты, содержащие значения признаков в мини-пачке. Часто используется для извлечения тензора весов примера. |
mode | ModeKeys оценщика. |
logits | Логиты Tensor для использования головкой. |
labels | Метки Tensor, или dict отображение имён меток в виде строк на Tensor объекты значений меток. |
optimizer | Экземпляр tf.keras.optimizers.Optimizer для оптимизации функции потерь в режиме TRAIN. То есть, устанавливает train_op = optimizer.get_updates(loss, trainable_variables), которая обновляет переменные для минимизации loss. |
trainable_variables | Список или кортеж Variable объектов для обновления с целью минимизации loss. В Tensorflow 1.x, по умолчанию это список переменных, собранных в графе с ключом GraphKeys.TRAINABLE_VARIABLES. Поскольку Tensorflow 2.x не имеет коллекций и GraphKeys, trainable_variables необходимо передавать явно здесь. |
train_op_fn | Функция, которая принимает скалярную функцию потерь Tensor и возвращает операцию для оптимизации модели с функцией потерь в режиме TRAIN. Используется, если optimizer равно None. В режиме TRAIN точно один из train_op_fn и optimizer должен быть задан. По умолчанию это None в других режимах. Если вы хотите оптимизировать функцию потерь самостоятельно, вы можете передать lambda _: tf.no_op() и затем использовать EstimatorSpec.loss для вычисления и применения градиентов. |
update_ops | Список или кортеж дополнительных операций обновления, которые должны выполняться во время обучения. Например, слои, такие как BatchNormalization, создают операции обновления среднего и дисперсии, которые необходимо выполнять во время обучения. В Tensorflow 1.x, они помещаются в коллекцию UPDATE_OPS. Так как Tensorflow 2.x не имеет коллекций, update_ops нужно передавать явно здесь. |
regularization_losses | Список дополнительных скалярных функций потерь, которые должны быть добавлены к функции потерь обучения, например, регуляризационные потери. |
| Возвращаемое значение | |
|---|---|
EstimatorSpec. |
loss
loss(
labels, logits, features=None, mode=None, regularization_losses=None
)
Возвращает предсказания на основе ключей. См. base_head.Head для деталей.
metrics
metrics(
regularization_losses=None
)
Создаёт метрики. См. base_head.Head для деталей.
predictions
predictions(
logits
)
Возвращает предсказания на основе ключей.
См. base_head.Head для деталей.
| Аргументы | |
|---|---|
logits | Логиты Tensor с формой [D0, D1, ... DN, logits_dimension]. В большинстве приложений, форма равна [batch_size, logits_dimension]. |
| Возвращаемое значение | |
|---|---|
| Словарь предсказаний. |
update_metrics
update_metrics(
eval_metrics, features, logits, labels, regularization_losses=None
)
Обновляет метрики оценки. См. base_head.Head для деталей.
© 2020 The TensorFlow Authors. All rights reserved.
Licensed under the Creative Commons Attribution License 3.0.
Code samples licensed under the Apache 2.0 License.
https://www.tensorflow.org/versions/r2.3/api_docs/python/tf/estimator/RegressionHead