tf.sparse.merge

Объединяет пакет идентификаторов функций и значений в единый SparseTensor. (устарело)

tf.sparse.merge(
    sp_ids, sp_values, vocab_size, name=None, already_sorted=False
)

Наиболее распространенный случай использования этой функции возникает, когда идентификаторы функций и соответствующие значения хранятся в Example прото в файлах. parse_example вернёт пакет идентификаторов и пакет значений, а эта функция объединит их в один логический SparseTensor для использования в функциях, таких как sparse_tensor_dense_matmul, sparse_to_dense, и т. д.

SparseTensor возвращаемый этой функцией имеет следующие свойства:

• indices эквивалентно sp_ids.indices с отброшенным последним измерением и заменой на sp_ids.values.
• values просто sp_values.values.
• Если sp_ids.dense_shape = [D0, D1, ..., Dn, K], то output.shape = [D0, D1, ..., Dn, vocab_size].

Например, рассмотрим следующие векторы признаков:

vector1 = [-3, 0, 0, 0, 0, 0]
vector2 = [ 0, 1, 0, 4, 1, 0]
vector3 = [ 5, 0, 0, 9, 0, 0]

Они могут быть сохранены в виде разреженных

examples = [Example(features={
                "ids": Feature(int64_list=Int64List(value=[0])),
                "values": Feature(float_list=FloatList(value=[-3]))}),
            Example(features={
                "ids": Feature(int64_list=Int64List(value=[1, 4, 3])),
                "values": Feature(float_list=FloatList(value=[1, 1, 4]))}),
            Example(features={
                "ids": Feature(int64_list=Int64List(value=[0, 3])),
                "values": Feature(float_list=FloatList(value=[5, 9]))})]

Результат вызова parse_example для этих примеров даст словарь с записями для «ids» и «values». Передача этих двух объектов в эту функцию вместе с vocab_size=6 даст SparseTensor, который разреженно представляет все три экземпляра. Иными словами, свойство indices будет содержать координаты ненулевых элементов в матрице признаков (первое измерение — номер строки в матрице, т. е. индекс в пакете, а второе — номер столбца, т. е. идентификатор признака); values будет содержать фактические значения. shape будет формой исходной матрицы, т. е. (3, 6). Для нашего примера выше результат будет равен:

SparseTensor(indices=[[0, 0], [1, 1], [1, 3], [1, 4], [2, 0], [2, 3]],
             values=[-3, 1, 4, 1, 5, 9],
             dense_shape=[3, 6])

Этот метод обобщается на более высокие размерности, просто предоставив список как для sp_ids, так и для vocab_size. В этом случае полученный SparseTensor обладает следующими свойствами:

• indices эквивалентно sp_ids[0].indices с отброшенным последним измерением и конкатенацией с sp_ids[0].values, sp_ids[1].values, ....
• values просто sp_values.values.
• Если sp_ids.dense_shape = [D0, D1, ..., Dn, K], то output.shape = [D0, D1, ..., Dn] + vocab_size.