tf.compat.v1.estimator.experimental.KMeans

Оценщик для кластеризации K-средних.

Наследуется от: Estimator

tf.compat.v1.estimator.experimental.KMeans(
    num_clusters,
    model_dir=None,
    initial_clusters=RANDOM_INIT,
    distance_metric=SQUARED_EUCLIDEAN_DISTANCE,
    seed=None,
    use_mini_batch=True,
    mini_batch_steps_per_iteration=1,
    kmeans_plus_plus_num_retries=2,
    relative_tolerance=None,
    config=None,
    feature_columns=None
)

Пример:

import numpy as np
import tensorflow as tf

num_points = 100
dimensions = 2
points = np.random.uniform(0, 1000, [num_points, dimensions])

def input_fn():
  return tf.compat.v1.train.limit_epochs(
      tf.convert_to_tensor(points, dtype=tf.float32), num_epochs=1)

num_clusters = 5
kmeans = tf.compat.v1.estimator.experimental.KMeans(
    num_clusters=num_clusters, use_mini_batch=False)

# train
num_iterations = 10
previous_centers = None
for _ in xrange(num_iterations):
  kmeans.train(input_fn)
  cluster_centers = kmeans.cluster_centers()
  if previous_centers is not None:
    print 'delta:', cluster_centers - previous_centers
  previous_centers = cluster_centers
  print 'score:', kmeans.score(input_fn)
print 'cluster centers:', cluster_centers

# map the input points to their clusters
cluster_indices = list(kmeans.predict_cluster_index(input_fn))
for i, point in enumerate(points):
  cluster_index = cluster_indices[i]
  center = cluster_centers[cluster_index]
  print 'point:', point, 'is in cluster', cluster_index, 'centered at', center

Сохранённые SavedModel методом export_saved_model не включают центры кластеров. Однако центры кластеров можно получить из последнего сохранённого контрольного пункта во время обучения. Конкретно,

kmeans.cluster_centers()

эквивалентно

tf.train.load_variable(
    kmeans.model_dir, KMeansClustering.CLUSTER_CENTERS_VAR_NAME)

Методы

cluster_centers

Просмотреть исходный код

cluster_centers()

Возвращает центры кластеров.

eval_dir

Просмотреть исходный код

eval_dir(
    name=None
)

Показывает имя директории, куда выгружаются метрики оценки.

evaluate

Просмотреть исходный код

evaluate(
    input_fn, steps=None, hooks=None, checkpoint_path=None, name=None
)

Выполняет оценку модели с использованием данных оценки input_fn.

На каждом шаге вызывается input_fn, который возвращает одну партию данных. Выполняет оценку до:

• steps партий обработаны, или
• input_fn возникает исключение конца входных данных (tf.errors.OutOfRangeError или StopIteration).

experimental_export_all_saved_models

Просмотреть исходный код

experimental_export_all_saved_models(
    export_dir_base,
    input_receiver_fn_map,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None
)

Экспортирует SavedModel с tf.MetaGraphDefs для каждого запрошенного режима.

Для каждого режима, переданного через input_receiver_fn_map, этот метод создаёт новую графу, вызывая input_receiver_fn для получения признаков и меток Tensor. Затем этот метод вызывает Estimator's model_fn в переданном режиме для генерации графы модели на основе этих признаков и меток и восстанавливает заданный контрольный пункт (или, если его нет, самый последний контрольный пункт) в графу. Только один из режимов используется для сохранения переменных в SavedModel (порядок предпочтения: tf.estimator.ModeKeys.TRAIN, tf.estimator.ModeKeys.EVAL, затем tf.estimator.ModeKeys.PREDICT), таким образом, до трёх tf.MetaGraphDefs сохраняются с одним набором переменных в одном каталоге SavedModel.

Для переменных и tf.MetaGraphDefs, создаётся каталог экспорта со временем ниже export_dir_base, и в него записывается SavedModel, содержащий tf.MetaGraphDef для данного режима и его связанных сигнатур.

Для предсказания экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращённого model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использована при запросе обслуживания, если не указана конкретная. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput и входные данные всегда являются входными приемниками, предоставленными serving_input_receiver_fn.

Для обучения и оценки train_op хранится в дополнительной коллекции, а потеря, метрики и предсказания включаются в SignatureDef для рассматриваемого режима.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

export_saved_model

Просмотреть исходный код

export_saved_model(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    experimental_mode=ModeKeys.PREDICT
)

Экспортирует графу вывода как SavedModel в заданный каталог.

Для подробного руководства по SavedModel см. Использование формата SavedModel.

Этот метод создаёт новую графу, сначала вызывая serving_input_receiver_fn для получения признаков Tensor, а затем вызывая Estimator's model_fn для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, если его нет, самый последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта со временем ниже заданного export_dir_base, и записывает SavedModel в него, содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращённого model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использована при запросе обслуживания, если не указана конкретная. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются входными приемниками, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

Параметр experimental_mode может быть использован для экспорта отдельной графы обучения/оценки/предсказания как SavedModel. См. experimental_export_all_saved_models для полного описания.

export_savedmodel

Просмотреть исходный код

export_savedmodel(
    export_dir_base,
    serving_input_receiver_fn,
    assets_extra=None,
    as_text=False,
    checkpoint_path=None,
    strip_default_attrs=False
)

Экспортирует графу вывода как SavedModel в заданный каталог. (устарело)

Для подробного руководства см. SavedModel из Estimators..

Этот метод создаёт новую графу, сначала вызывая serving_input_receiver_fn для получения признаков Tensor, а затем вызывая Estimator's model_fn для генерации графы модели на основе этих признаков. Он восстанавливает заданный контрольный пункт (или, если его нет, самый последний контрольный пункт) в эту графу в новой сессии. Наконец, он создаёт каталог экспорта со временем ниже заданного export_dir_base, и записывает SavedModel в него, содержащий одну tf.MetaGraphDef сохранённую из этой сессии.

Экспортированный MetaGraphDef предоставит по одному SignatureDef для каждого элемента export_outputs словаря, возвращённого model_fn, с именами, использующими те же ключи. Один из этих ключей всегда tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY, указывающий, какая подпись будет использована при запросе обслуживания, если не указана конкретная. Для каждой подписи выходные данные предоставляются соответствующими tf.estimator.export.ExportOutput, а входные данные всегда являются входными приемниками, предоставленными serving_input_receiver_fn.

Дополнительные ресурсы могут быть записаны в SavedModel через аргумент assets_extra. Это должен быть словарь, где каждый ключ задаёт путь назначения (включая имя файла) относительно каталога assets.extra. Соответствующее значение задаёт полный путь исходного файла, который нужно скопировать. Например, простой случай копирования одного файла без переименования задаётся как {'my_asset_file.txt': '/path/to/my_asset_file.txt'}.

get_variable_names

Просмотреть исходный код

get_variable_names()

Возвращает список всех имен переменных в этой модели.

get_variable_value

Просмотреть исходный код

get_variable_value(
    name
)

Возвращает значение переменной по имени.

latest_checkpoint

Просмотреть исходный код

latest_checkpoint()

Находит имя файла последней сохраненной контрольной точки в model_dir.

predict

Просмотреть исходный код

predict(
    input_fn,
    predict_keys=None,
    hooks=None,
    checkpoint_path=None,
    yield_single_examples=True
)

Возвращает предсказания для заданных признаков.

Обратите внимание, что чередование двух результатов predict не работает. См.: issue/20506

predict_cluster_index

Просмотреть исходный код

predict_cluster_index(
    input_fn
)

Находит индекс ближайшего центра кластера к каждой точке входа.

score

Просмотреть исходный код

score(
    input_fn
)

Возвращает сумму квадратов расстояний до ближайших кластеров.

Обратите внимание, что эта функция отличается от соответствующей функции в sklearn, которая возвращает отрицательную сумму.

train

Просмотреть исходный код

train(
    input_fn, hooks=None, steps=None, max_steps=None, saving_listeners=None
)

Обучает модель с использованием обучающих данных input_fn.

transform

Просмотреть исходный код

transform(
    input_fn
)

Преобразует каждую входную точку в её расстояния до всех центров кластеров.

Обратите внимание, что если distance_metric=KMeansClustering.SQUARED_EUCLIDEAN_DISTANCE, эта функция возвращает квадрат расстояния Евклида, в то время как соответствующая функция sklearn возвращает расстояние Евклида.