tf.contrib.data.unique

Создаёт Dataset из другого Dataset, отбрасывая дубликаты. (устаревшая)

tf.contrib.data.unique()

Используйте эту трансформацию, чтобы получить набор данных, содержащий по одному экземпляру каждого уникального элемента на входе. Например:

dataset = tf.data.Dataset.from_tensor_slices([1, 37, 2, 37, 2, 1])

# Using `unique()` will drop the duplicate elements.
dataset = dataset.apply(tf.data.experimental.unique())  # ==> { 1, 37, 2 }