tf.edit_distance

Вычисляет расстояние Левенштейна между последовательностями.

tf.edit_distance(
    hypothesis, truth, normalize=True, name='edit_distance'
)

Эта операция принимает последовательности переменной длины (hypothesis и truth), каждая из которых представлена как SparseTensor, и вычисляет расстояние Левенштейна. Вы можете нормализовать расстояние Левенштейна по длине truth, установив normalize в значение true.

Например:

Рассмотрим следующий ввод:

• hypothesis — tf.SparseTensor формы [2, 1, 1]
• truth — tf.SparseTensor формы [2, 2, 2]

hypothesis = tf.SparseTensor(
  [[0, 0, 0],
   [1, 0, 0]],
  ["a", "b"],
  (2, 1, 1))
truth = tf.SparseTensor(
  [[0, 1, 0],
   [1, 0, 0],
   [1, 0, 1],
   [1, 1, 0]],
   ["a", "b", "c", "a"],
   (2, 2, 2))
tf.edit_distance(hypothesis, truth, normalize=True)
<tf.Tensor: shape=(2, 2), dtype=float32, numpy=
array([[inf, 1. ],
       [0.5, 1. ]], dtype=float32)>

Операция возвращает плотный тензор формы [2, 2] с расстоянием Левенштейна, нормализованным по длинам truth.

Примечание: Возможна вычисление расстояния Левенштейна между двумя разреженными тензорами с значениями переменной длины. Однако попытка создать их при включенном режиме выполнения eager приведет к ValueError.

Для следующих входных данных:

# 'hypothesis' is a tensor of shape `[2, 1]` with variable-length values:
#   (0,0) = ["a"]
#   (1,0) = ["b"]
hypothesis = tf.sparse.SparseTensor(
    [[0, 0, 0],
     [1, 0, 0]],
    ["a", "b"],
    (2, 1, 1))

# 'truth' is a tensor of shape `[2, 2]` with variable-length values:
#   (0,0) = []
#   (0,1) = ["a"]
#   (1,0) = ["b", "c"]
#   (1,1) = ["a"]
truth = tf.sparse.SparseTensor(
    [[0, 1, 0],
     [1, 0, 0],
     [1, 0, 1],
     [1, 1, 0]],
    ["a", "b", "c", "a"],
    (2, 2, 2))

normalize = True

# The output would be a dense Tensor of shape `(2,)`, with edit distances
normalized by 'truth' lengths.
# output => array([0., 0.5], dtype=float32)