tf.compat.v1.sparse_merge

Объединяет пакет идентификаторов и значений признаков в единый SparseTensor. (устарело)

tf.compat.v1.sparse_merge(
    sp_ids, sp_values, vocab_size, name=None, already_sorted=False
)

Наиболее распространенный случай использования этой функции возникает, когда идентификаторы признаков и соответствующие им значения хранятся в Example протоколах на диске. parse_example вернет пакет идентификаторов и пакет значений, а эта функция объединит их в один логический SparseTensor для использования в функциях, таких как sparse_tensor_dense_matmul, sparse_to_dense, и т.д.

SparseTensor возвращаемое этой функцией, обладает следующими свойствами:

• indices эквивалентно sp_ids.indices с отброшенным последним измерением и заменой на sp_ids.values.
• values просто sp_values.values.
• Если sp_ids.dense_shape = [D0, D1, ..., Dn, K], то output.shape = [D0, D1, ..., Dn, vocab_size].

Например, рассмотрим следующие векторы признаков:

vector1 = [-3, 0, 0, 0, 0, 0]
vector2 = [ 0, 1, 0, 4, 1, 0]
vector3 = [ 5, 0, 0, 9, 0, 0]

Эти векторы могут храниться в следующих примерах протоколов в виде разреженного представления, храня только идентификаторы признаков (номер столбца, если векторы рассматриваются как матрица) ненулевых элементов и соответствующие значения:

examples = [Example(features={
                "ids": Feature(int64_list=Int64List(value=[0])),
                "values": Feature(float_list=FloatList(value=[-3]))}),
            Example(features={
                "ids": Feature(int64_list=Int64List(value=[1, 4, 3])),
                "values": Feature(float_list=FloatList(value=[1, 1, 4]))}),
            Example(features={
                "ids": Feature(int64_list=Int64List(value=[0, 3])),
                "values": Feature(float_list=FloatList(value=[5, 9]))})]

Результат вызова parse_example для этих примеров создаст словарь со входами "ids" и "values". Передача этих двух объектов в эту функцию вместе с vocab_size=6, произведёт SparseTensor, который разреженно представляет все три экземпляра. Иными словами, свойство indices будет содержать координаты ненулевых элементов в матрице признаков (первое измерение - номер строки в матрице, т. е. индекс в пакете, а второе измерение - номер столбца, т. е. идентификатор признака); values будет содержать фактические значения. shape будет представлять размер исходной матрицы, т. е. (3, 6). Для нашего примера выше результат будет равен:

SparseTensor(indices=[[0, 0], [1, 1], [1, 3], [1, 4], [2, 0], [2, 3]],
             values=[-3, 1, 4, 1, 5, 9],
             dense_shape=[3, 6])

Этот метод обобщается на пространства высших измерений, просто предоставив список для sp_ids и vocab_size. В этом случае полученное SparseTensor имеет следующие свойства:

• indices эквивалентно sp_ids[0].indices с отброшенным последним измерением и конкатенацией с sp_ids[0].values, sp_ids[1].values, ....
• values просто sp_values.values.
• Если sp_ids.dense_shape = [D0, D1, ..., Dn, K], то output.shape = [D0, D1, ..., Dn] + vocab_size.