tf.contrib.learn.MetricSpec

MetricSpec подключает модель к функциям метрик.

tf.contrib.learn.MetricSpec(
    metric_fn, prediction_key=None, label_key=None, weight_key=None
)

ЭТОТ КЛАСС УСТЕРЕЛ. См. contrib/learn/README.md для общих инструкций по миграции.

Класс MetricSpec содержит всю необходимую информацию для подключения выходных данных модели model_fn к метрикам (обычно, потоковым метрикам), которые используются в оценке.

Он передаётся в аргумент metrics метода Estimator.evaluate. Метод Estimator затем знает, какие прогнозы, метки и веса использовать для вызова заданной функции метрики.

При построении операций для выполнения в оценке, Estimator вызовет create_metric_ops, который подключит заданную metric_fn к модели, как подробно описано в документации к create_metric_ops, и вернёт метрику.

Пример:

Предположим, что функция входных данных модели возвращает входные данные, содержащие (среди прочего) тензор с ключом "input_key", и словарь меток, содержащий "label_key". Предположим, что метод model_fn для этой модели возвращает прогноз с ключом "prediction_key".

Для вычисления точности прогноза "prediction_key" нужно добавить

"prediction accuracy": MetricSpec(metric_fn=prediction_accuracy_fn,
                                  prediction_key="prediction_key",
                                  label_key="label_key")

в аргумент metrics к методу evaluate. prediction_accuracy_fn может быть предварительно определённой функцией из metric_ops (например, streaming_accuracy) или пользовательской функцией, которую вы определите.

Если нам нужна точность, взвешенная по "input_key", мы можем добавить его как аргумент weight_key.

"prediction accuracy": MetricSpec(metric_fn=prediction_accuracy_fn,
                                  prediction_key="prediction_key",
                                  label_key="label_key",
                                  weight_key="input_key")

Вот пример end-to-end:

estimator = tf.contrib.learn.Estimator(...)
estimator.fit(...)
_ = estimator.evaluate(
    input_fn=input_fn,
    steps=1,
    metrics={
        'prediction accuracy':
            metric_spec.MetricSpec(
                metric_fn=prediction_accuracy_fn,
                prediction_key="prediction_key",
                label_key="label_key")
    })

Методы

create_metric_ops

Посмотреть исходный код

create_metric_ops(
    inputs, labels, predictions
)

Подключаем нашу metric_fn к указанным элементам заданных словарей.

Эта функция вызовет metric_fn заданную в нашем конструкторе следующим образом:

metric_fn(predictions[self.prediction_key],
          labels[self.label_key],
          weights=weights[self.weight_key])

И возвращает результат. Аргумент weights передаётся только если self.weight_key не равно None.

predictions и labels могут быть как одиночными тензорами, так и словарями. Если predictions — одиночный тензор, то self.prediction_key должен быть None. Если predictions — словарь с одним элементом, self.prediction_key может быть None. И наоборот, если labels — одиночный тензор, то self.label_key должен быть None. Если labels — словарь с одним элементом, то self.label_key может быть None.