tf.compat.v1.sparse_merge

Объединяет пакет идентификаторов признаков и значений в один SparseTensor. (устарела)

tf.compat.v1.sparse_merge(
    sp_ids, sp_values, vocab_size, name=None, already_sorted=False
)

Чаще всего эта функция используется, когда идентификаторы признаков и соответствующие им значения хранятся на диске в протоколах Example. parse_example возвращает пакет идентификаторов и пакет значений, а эта функция объединяет их в одну логическую SparseTensor для использования в таких функциях, как sparse_tensor_dense_matmul, sparse_to_dense и т. д.

Функция SparseTensor возвращает объект со следующими свойствами:

• indices эквивалентно sp_ids.indices, у которого последняя размерность отброшена и заменена на sp_ids.values.
• values — это просто sp_values.values.
• Если sp_ids.dense_shape = [D0, D1, ..., Dn, K], то output.shape = [D0, D1, ..., Dn, vocab_size].

Например, рассмотрим следующие векторы признаков:

vector1 = [-3, 0, 0, 0, 0, 0]
vector2 = [ 0, 1, 0, 4, 1, 0]
vector3 = [ 5, 0, 0, 9, 0, 0]

Они могут храниться в разреженном виде в следующих протобуфах Example: сохраняются только идентификаторы признаков (номера столбцов, если рассматривать векторы как матрицу) ненулевых элементов и соответствующие им значения:

examples = [Example(features={
                "ids": Feature(int64_list=Int64List(value=[0])),
                "values": Feature(float_list=FloatList(value=[-3]))}),
            Example(features={
                "ids": Feature(int64_list=Int64List(value=[1, 4, 3])),
                "values": Feature(float_list=FloatList(value=[1, 1, 4]))}),
            Example(features={
                "ids": Feature(int64_list=Int64List(value=[0, 3])),
                "values": Feature(float_list=FloatList(value=[5, 9]))})]

Вызов parse_example для этих примеров создаст словарь с записями для "ids" и "values". Если передать эти два объекта в эту функцию вместе с vocab_size=6, она вернет SparseTensor, в разреженном виде представляющий все три экземпляра. А именно, свойство indices будет содержать координаты ненулевых элементов матрицы признаков (первая размерность — номер строки матрицы, то есть индекс в пакете, а вторая — номер столбца, то есть идентификатор признака); values будет содержать фактические значения. shape будет формой исходной матрицы, то есть (3, 6). Для приведенного выше примера результат будет равен:

SparseTensor(indices=[[0, 0], [1, 1], [1, 3], [1, 4], [2, 0], [2, 3]],
             values=[-3, 1, 4, 1, 5, 9],
             dense_shape=[3, 6])

Этот метод обобщается на размерности выше двух: достаточно передать списки и для sp_ids, и для vocab_size. В этом случае результирующий SparseTensor будет иметь следующие свойства:

• indices эквивалентно sp_ids[0].indices, у которого последняя размерность отброшена и объединена с sp_ids[0].values, sp_ids[1].values, ....
• values — это просто sp_values.values.
• Если sp_ids.dense_shape = [D0, D1, ..., Dn, K], то output.shape = [D0, D1, ..., Dn] + vocab_size.