tf.compat.v1.estimator.experimental.KMeans

Оценщик для кластеризации K-средних.

Наследуется от: Estimator

tf.compat.v1.estimator.experimental.KMeans(
    num_clusters, model_dir=None, initial_clusters=RANDOM_INIT,
    distance_metric=SQUARED_EUCLIDEAN_DISTANCE, seed=None, use_mini_batch=True,
    mini_batch_steps_per_iteration=1, kmeans_plus_plus_num_retries=2,
    relative_tolerance=None, config=None, feature_columns=None
)

Пример:

import numpy as np
import tensorflow as tf

num_points = 100
dimensions = 2
points = np.random.uniform(0, 1000, [num_points, dimensions])

def input_fn():
  return tf.compat.v1.train.limit_epochs(
      tf.convert_to_tensor(points, dtype=tf.float32), num_epochs=1)

num_clusters = 5
kmeans = tf.compat.v1.estimator.experimental.KMeans(
    num_clusters=num_clusters, use_mini_batch=False)

# train
num_iterations = 10
previous_centers = None
for _ in xrange(num_iterations):
  kmeans.train(input_fn)
  cluster_centers = kmeans.cluster_centers()
  if previous_centers is not None:
    print 'delta:', cluster_centers - previous_centers
  previous_centers = cluster_centers
  print 'score:', kmeans.score(input_fn)
print 'cluster centers:', cluster_centers

# map the input points to their clusters
cluster_indices = list(kmeans.predict_cluster_index(input_fn))
for i, point in enumerate(points):
  cluster_index = cluster_indices[i]
  center = cluster_centers[cluster_index]
  print 'point:', point, 'is in cluster', cluster_index, 'centered at', center

Сохранённые SavedModel методом export_saved_model не включают центры кластеров. Однако центры кластеров можно получить из последнего сохранённого контрольного пункта во время обучения. В частности,

kmeans.cluster_centers()

эквивалентно

tf.train.load_variable(
    kmeans.model_dir, KMeansClustering.CLUSTER_CENTERS_VAR_NAME)

Методы

cluster_centers

Просмотреть исходный код

cluster_centers()

Возвращает центры кластеров.

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя каталога, куда записываются метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Оценивает модель на данных оценки input_fn.

На каждом шаге вызывает input_fn, которая возвращает одну партию данных. Оценка выполняется до:

• steps партий обработаны, или
• input_fn возникает исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration).

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base, input_receiver_fn_map, assets_extra=None, as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод строит новую схему, вызывая input_receiver_fn для получения признаков и меток Tensor . Затем этот метод вызывает Estimator's model_fn в переданном режиме, чтобы сгенерировать схему модели на основе этих признаков и меток, и восстанавливает заданный контрольный пункт (или, если его нет, последний контрольный пункт) в схему. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одной директории SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся временная директория экспорта в export_dir_base, и записывается SavedModel в неё, содержащий tf.MetaGraphDef для данного режима и соответствующих сигнатур.

Для прогнозирования экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого функцией model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использована, если при запросе на обслуживание сигнатура не указана. Для каждой сигнатуры выходные данные предоставляются соответствующими объектами tf.estimator.export.ExportOutput, а входные данные всегда — получателями входных данных, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительном наборе, а значения потерь, метрики и прогнозы включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, experimental_mode=ModeKeys.PREDICT
)

Экспортирует граф вывода в SavedModel в указанный каталог.

Подробное руководство см. в SavedModel от Estimators.

Этот метод строит новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator этого model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданную точку контрольной проверки (или, если её нет, самую последнюю) в эту графу в новой сессии. Наконец, он создаёт временный каталог экспорта в каталоге export_dir_base и записывает в него SavedModel с одной сохранённой tf.MetaGraphDef из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого функцией model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использована, если при запросе на обслуживание сигнатура не указана. Для каждой сигнатуры выходные данные предоставляются соответствующими объектами tf.estimator.export.ExportOutput, а входные данные всегда — получателями входных данных, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта отдельной обучающей/оценочной/прогнозной графы как SavedModel. См. experimental_export_all_saved_models для получения полной документации.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base, serving_input_receiver_fn, assets_extra=None, as_text=False,
    checkpoint_path=None, strip_default_attrs=False
)

Экспортирует граф вывода в SavedModel в указанный каталог. (устарело)

Подробное руководство см. в SavedModel от Estimators.

Этот метод строит новую графу, сначала вызвав serving_input_receiver_fn для получения признаков Tensor, а затем вызвав Estimator этого model_fn для генерации графа модели на основе этих признаков. Он восстанавливает заданную точку контрольной проверки (или, если её нет, самую последнюю) в эту графу в новой сессии. Наконец, он создаёт временный каталог экспорта в каталоге export_dir_base и записывает в него SavedModel с одной сохранённой tf.MetaGraphDef из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента словаря export_outputs, возвращённого функцией model_fn, используя те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая сигнатура будет использована, если при запросе на обслуживание сигнатура не указана. Для каждой сигнатуры выходные данные предоставляются соответствующими объектами tf.estimator.export.ExportOutput, а входные данные всегда — получателями входных данных, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel с помощью аргумента assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь к исходному файлу, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имён переменных в этой модели.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной, заданной именем.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохранённой контрольной точки в model_dir.

predict

Просмотреть исходный код

predict(
    input_fn, predict_keys=None, hooks=None, checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что интерлейсинг двух выходов predict не работает. См.: issue/20506

Возвращает:

Вычисленные значения predictions тензоров.

predict_cluster_index

Просмотреть исходный код

predict_cluster_index(
    input_fn
)

Находит индекс ближайшего центра кластера к каждой точке ввода.

Возвращает:

Индекс ближайшего центра кластера для каждой точки ввода.

score

Просмотреть исходный код

score(
    input_fn
)

Возвращает сумму квадратов расстояний до ближайших кластеров.

Обратите внимание, что эта функция отличается от соответствующей функции в sklearn, которая возвращает отрицательную сумму.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

transform

Просмотреть исходный код

transform(
    input_fn
)

Преобразует каждую входную точку в расстояния до всех центров кластеров.

Обратите внимание, что если distance_metric=KMeansClustering.SQUARED_EUCLIDEAN_DISTANCE, эта функция возвращает квадрат расстояния по Евклиду, в то время как соответствующая функция sklearn возвращает расстояние по Евклиду.

Возвращаемое значение:

Расстояния от каждой входной точки до каждого центра кластера.

Переменные класса

• ALL_DISTANCES = 'all_distances'
• CLUSTER_CENTERS_VAR_NAME = 'clusters'
• CLUSTER_INDEX = 'cluster_index'
• COSINE_DISTANCE = 'cosine'
• KMEANS_PLUS_PLUS_INIT = 'kmeans_plus_plus'
• RANDOM_INIT = 'random'
• SCORE = 'score'
• SQUARED_EUCLIDEAN_DISTANCE = 'squared_euclidean'