tf.compat.v1.sparse_merge

Объединяет пакет идентификаторов и значений признаков в единый SparseTensor. (устарело)

tf.compat.v1.sparse_merge(
    sp_ids, sp_values, vocab_size, name=None, already_sorted=False
)

Наиболее распространенный случай использования этой функции возникает, когда идентификаторы признаков и их соответствующие значения хранятся в Example протоколы на диске. parse_example вернет пакет идентификаторов и пакет значений, и эта функция объединит их в один логический SparseTensor для использования в функциях, таких как sparse_tensor_dense_matmul, sparse_to_dense, и т. д.

Полученный SparseTensor от этой функции имеет следующие свойства:

• indices эквивалентно sp_ids.indices с удаленным последним измерением и заменой на sp_ids.values.
• values просто sp_values.values.
• Если sp_ids.dense_shape = [D0, D1, ..., Dn, K], то output.shape = [D0, D1, ..., Dn, vocab_size].

Например, рассмотрим следующие векторы признаков:

vector1 = [-3, 0, 0, 0, 0, 0]
vector2 = [ 0, 1, 0, 4, 1, 0]
vector3 = [ 5, 0, 0, 9, 0, 0]

Они могут храниться в следующих протоколах Example в разреженном виде, храня только идентификаторы признаков (номер столбца, если векторы рассматриваются как матрица) ненулевых элементов и соответствующие значения:

examples = [Example(features={
                "ids": Feature(int64_list=Int64List(value=[0])),
                "values": Feature(float_list=FloatList(value=[-3]))}),
            Example(features={
                "ids": Feature(int64_list=Int64List(value=[1, 4, 3])),
                "values": Feature(float_list=FloatList(value=[1, 1, 4]))}),
            Example(features={
                "ids": Feature(int64_list=Int64List(value=[0, 3])),
                "values": Feature(float_list=FloatList(value=[5, 9]))})]

Результат вызова parse_example для этих примеров даст словарь со входами для «ids» и «values». Передача этих двух объектов в эту функцию вместе с vocab_size=6 создаст SparseTensor, который разреженно представляет все три экземпляра. Иными словами, свойство indices будет содержать координаты ненулевых элементов в матрице признаков (первое измерение — номер строки в матрице, то есть индекс в пакете, а второе измерение — номер столбца, то есть идентификатор признака); values будет содержать фактические значения. shape будет формой исходной матрицы, т. е. (3, 6). Для нашего примера выше вывод будет равен:

SparseTensor(indices=[[0, 0], [1, 1], [1, 3], [1, 4], [2, 0], [2, 3]],
             values=[-3, 1, 4, 1, 5, 9],
             dense_shape=[3, 6])

Этот метод обобщается на высшие измерения, просто предоставив список как для sp_ids, так и для vocab_size. В этом случае полученный SparseTensor обладает следующими свойствами:

• indices эквивалентно sp_ids[0].indices с удаленным последним измерением и конкатенацией с sp_ids[0].values, sp_ids[1].values, ....
• values просто sp_values.values.
• Если sp_ids.dense_shape = [D0, D1, ..., Dn, K], то output.shape = [D0, D1, ..., Dn] + vocab_size.