tf.keras.layers.Layer

Базовый класс слоя.

Наследуется от: Module

tf.keras.layers.Layer(
    trainable=True, name=None, dtype=None, dynamic=False, **kwargs
)

Это класс, от которого наследуются все слои.

Слой — это класс, реализующий общие операции нейронных сетей, такие как свёртка, батч-нормализация и т. д. Эти операции требуют управления весами, потерями, обновлениями и межслойными связями.

Пользователи просто создают слой, а затем используют его как вызываемую функцию.

Мы рекомендуем потомкам Layer реализовать следующие методы:

• __init__(): Сохранение конфигурации в переменных члена
• build(): Вызывается один раз из __call__, когда нам известны формы входных данных и dtype. Должен содержать вызовы add_weight(), а затем вызывать метод суперкласса build() (который устанавливает self.built = True, что удобно, если пользователь хочет вызвать build() вручную перед первым вызовом __call__).
• call(): Вызывается в __call__ после проверки того, что build() был вызван один раз. Должен фактически выполнять логику применения слоя к тензорам входных данных (которые должны передаваться в качестве первого аргумента).

Только для чтения свойства: name: Имя слоя (строка). dtype: Тип данных вычислений и весов слоя. Если используется смешанная точность с tf.keras.mixed_precision.experimental.Policy, это вместо этого просто тип данных весов слоя, так как вычисления выполняются в другом типе данных. updates: Список обновляющих операций этого слоя. losses: Список потерь, добавленных этим слоем. trainable_weights: Список переменных, которые должны включаться в обратное распространение. non_trainable_weights: Список переменных, которые не должны включаться в обратное распространение. weights: Конкатенация списков trainable_weights и non_trainable_weights (в этом порядке).

Изменяемые свойства:

• trainable: Должен ли слой обучаться (булево значение).
• input_spec: Необязательный(ые) объект(ы) constraints, определяющий ограничения на входные данные, которые может принять слой.

Типы данных и приведение типов

Каждый слой имеет тип данных, который обычно является типом данных вычислений и переменных слоя. Тип данных слоя можно запросить через свойство Layer.dtype. Тип данных задаётся аргументом конструктора dtype. В TensorFlow 2 тип данных по умолчанию — tf.keras.backend.floatx(), если тип данных не указан. floatx() сам по себе по умолчанию равен "float32". Кроме того, слои будут приводить входные данные к типу данных слоя в TensorFlow 2. Например:

x = tf.ones((4, 4, 4, 4), dtype='float64')
layer = tf.keras.layers.Conv2D(filters=4, kernel_size=2)
print(layer.dtype)  # float32

# `layer` casts it's inputs to layer.dtype, which is float32, and does
# computations in float32.
y = layer(x)

В настоящее время приведение типов выполняется только для тензоров в первом аргументе метода call слоя. Например:

class MyLayer(tf.keras.layers.Layer):
  # Bug! `b` will not be casted.
  def call(self, a, b):
    return a + 1., b + 1.

a = tf.constant(1., dtype="float32")
b = tf.constant(1., dtype="float32")

layer = MyLayer(dtype="float64")
x, y = layer(a, b)
print(x.dtype)  # float64
print(y.dtype)  # float32. Not casted since `b` was not passed to first input

Рекомендуется принимать тензоры только в первом аргументе. Таким образом, все тензоры приводятся к типу данных слоя. MyLayer следовательно, должно быть написано так:

class MyLayer(tf.keras.layers.Layer):
  # Now, all tensor inputs will be casted.
  def call(self, inputs):
    a, b = inputs
    return a + 1., b + 1.

a = tf.constant(1., dtype="float32")
b = tf.constant(1., dtype="float32")

layer = MyLayer(dtype="float64")
x, y = layer((a, b))
print(x.dtype)  # float64
print(y.dtype)  # float64.

В будущей небольшой версии, возможно, будут приводиться к типу данных и тензоры в других аргументах.

В настоящее время другие аргументы не приводятся к типу данных автоматически по техническим причинам, но это может измениться в будущей небольшой версии.

Подкласс слоя может предотвратить автоматическое приведение входных данных, передав autocast=False конструктору слоя. Например:

class MyLayer(tf.keras.layers.Layer):

  def __init__(self, **kwargs):
    kwargs['autocast']=False
    super(MyLayer, self).__init__(**kwargs)

  def call(self, inp):
    return inp

x = tf.ones((4, 4, 4, 4), dtype='float64')
layer = MyLayer()
print(layer.dtype)  # float32.
y = layer(x)  # MyLayer will not cast inputs to it's dtype of float32
print(y.dtype)  # float64

Запуск моделей в float64 в TensorFlow 2

Если вы хотите запустить модель в float64, вы можете установить floatx в float64, вызвав tf.keras.backend.set_floatx('float64'). Это заставит все слои использовать float64 по умолчанию вместо float32:

tf.keras.backend.set_floatx('float64')
layer1 = tf.keras.layers.Dense(4)
layer2 = tf.keras.layers.Dense(4)

x = tf.ones((4, 4))
y = layer2(layer1(x))  # Both layers run in float64

В качестве альтернативы вы можете передать dtype='float64' каждому отдельному слою. Обратите внимание, что если у вас есть слои, которые содержат другие слои в качестве элементов, вы должны убедиться, что каждый дочерний слой получает dtype='float64' также в конструктор:

layer1 = tf.keras.layers.Dense(4, dtype='float64')
layer2 = tf.keras.layers.Dense(4, dtype='float64')

x = tf.ones((4, 4))
y = layer2(layer1(x))  # Both layers run in float64

class NestedLayer(tf.keras.layers.Layer):
  def __init__(self, **kwargs):
    super(NestedLayer, self).__init__(**kwargs)
    self.dense = tf.keras.layers.Dense(4, dtype=kwargs.get('dtype'))

  def call(self, inp):
    return self.dense(inp)

layer3 = NestedLayer(dtype='float64')
z = layer3(x)  # layer3's dense layer runs in float64, since NestedLayer
               # correcty passed it's dtype to it's dense layer

Методы

add_loss

Просмотреть исходный код

add_loss(
    losses, inputs=None
)

Добавление тензора(ов) потерь, потенциально зависящих от входных данных слоя.

Некоторые потери (например, потери регуляризации активности) могут зависеть от входных данных, переданных при вызове слоя. Поэтому при повторном использовании одного и того же слоя на разных входных данных a и b, некоторые записи в layer.losses могут зависеть от a, а некоторые — от b. Этот метод автоматически отслеживает зависимости.

Этот метод можно использовать внутри подклассированного слоя или функции модели call, в этом случае losses должен быть тензором или списком тензоров.

Пример:

class MyLayer(tf.keras.layers.Layer):
  def call(inputs, self):
    self.add_loss(tf.abs(tf.reduce_mean(inputs)), inputs=True)
    return inputs

Этот метод также можно вызвать непосредственно на модели Functional Model во время её создания. В этом случае любые тензоры потерь, переданные этой модели, должны быть символическими и должны иметь возможность прослеживаться обратно до тензоров Input модели. Эти потери становятся частью топологии модели и отслеживаются в get_config.

Пример:

inputs = tf.keras.Input(shape=(10,))
x = tf.keras.layers.Dense(10)(inputs)
outputs = tf.keras.layers.Dense(1)(x)
model = tf.keras.Model(inputs, outputs)
# Actvity regularization.
model.add_loss(tf.abs(tf.reduce_mean(x)))

Если это не так для ваших потерь (если, например, ваши потери ссылаются на Variable одного из слоёв модели), вы можете обернуть свои потери в лямбда-функцию без аргументов. Эти потери не отслеживаются как часть топологии модели, поскольку они не могут быть сериализованы.

Пример:

inputs = tf.keras.Input(shape=(10,))
x = tf.keras.layers.Dense(10)(inputs)
outputs = tf.keras.layers.Dense(1)(x)
model = tf.keras.Model(inputs, outputs)
# Weight regularization.
model.add_loss(lambda: tf.reduce_mean(x.kernel))

Метод get_losses_for позволяет извлечь потери, относящиеся к определённому набору входных данных.

add_metric

Просмотреть исходный код

add_metric(
    value, aggregation=None, name=None
)

Добавляет тензор метрики в слой.

add_update

Просмотреть исходный код

add_update(
    updates, inputs=None
)

Добавляет операцию(и) обновления, потенциально зависящую(ие) от входных данных слоя. (устаревшие аргументы)

Обновления весов (например, обновления скользящего среднего и дисперсии в слое BatchNormalization) могут зависеть от входных данных, переданных при вызове слоя. Следовательно, при повторном использовании одного и того же слоя с разными входами a и b, некоторые записи в layer.updates могут зависеть от a, а некоторые — от b. Этот метод автоматически отслеживает зависимости.

Этот вызов игнорируется при включенном режиме eager execution (в этом случае обновления переменных выполняются на лету и, следовательно, не нуждаются в отслеживании для последующего выполнения).

add_weight

Просмотреть исходный код

add_weight(
    name=None, shape=None, dtype=None, initializer=None, regularizer=None,
    trainable=None, constraint=None, partitioner=None, use_resource=None,
    synchronization=tf.VariableSynchronization.AUTO,
    aggregation=tf.VariableAggregation.NONE, **kwargs
)

Добавляет новую переменную в слой.

build

Просмотреть исходный код

build(
    input_shape
)

Создаёт переменные слоя (необязательно, для реализации подклассов).

Это метод, который реализующие подклассы Layer или Model могут переопределить, если им нужен шаг создания состояния между созданием слоя и вызовом слоя.

Обычно используется для создания весов подклассов Layer.

call

Просмотреть исходный код

call(
    inputs, **kwargs
)

Здесь находится логика слоя.

compute_mask

Просмотреть исходный код

compute_mask(
    inputs, mask=None
)

Вычисляет тензор маски вывода.

compute_output_shape

Просмотреть исходный код

compute_output_shape(
    input_shape
)

Вычисляет форму выходных данных слоя.

Если слой не был построен, этот метод вызовет build в слое. Это предполагает, что слой впоследствии будет использоваться с входными данными, соответствующими форме ввода, предоставленной здесь.

compute_output_signature

Просмотреть исходный код

compute_output_signature(
    input_signature
)

Вычисляет сигнатуру тензора вывода слоя на основе входов.

В отличие от объекта TensorShape, объект TensorSpec содержит информацию как о форме, так и о типе данных тензора. Этот метод позволяет слоям предоставлять информацию о типе данных вывода, если она отличается от типа данных входных данных. Для любого слоя, не реализующего эту функцию, фреймворк будет использовать compute_output_shape, и будет предполагать, что тип данных вывода совпадает с типом данных входных данных.

count_params

Просмотреть исходный код

count_params()

Подсчитывает общее количество скалярных значений, составляющих веса.

from_config

Просмотреть исходный код

@classmethod
from_config(
    config
)

Создаёт слой из его конфигурации.

Этот метод является обратным к get_config, позволяя восстановить тот же слой из словаря конфигурации. Он не обрабатывает связи между слоями (это обрабатывает Network), а также веса (это обрабатывает set_weights).

get_config

Просмотреть исходный код

get_config()

Возвращает конфигурацию слоя.

Конфигурация слоя — это словарь Python (сериализуемый), содержащий конфигурацию слоя. Этот же слой можно позже восстановить (без его обученных весов) из этой конфигурации.

Конфигурация слоя не включает информацию о связях между слоями, а также имя класса слоя. Эти данные обрабатываются Network (слой абстракции выше).

get_input_at

Просмотреть исходный код

get_input_at(
    node_index
)

Возвращает тензор(ы) входа слоя в указанном узле.

get_input_mask_at

Просмотреть исходный код

get_input_mask_at(
    node_index
)

Возвращает маску тензора(ов) входа слоя в указанном узле.

get_input_shape_at

Просмотреть исходный код

get_input_shape_at(
    node_index
)

Возвращает форму(ы) входных данных слоя в заданном узле.

get_losses_for

Просмотреть исходный код

get_losses_for(
    inputs
)

Возвращает потери, относящиеся к определенному набору входов.

get_output_at

Просмотреть исходный код

get_output_at(
    node_index
)

Возвращает выходной(ые) тензор(ы) слоя в заданном узле.

get_output_mask_at

Просмотреть исходный код

get_output_mask_at(
    node_index
)

Возвращает выходной(ые) маску(и) тензора слоя в заданном узле.

get_output_shape_at

Просмотреть исходный код

get_output_shape_at(
    node_index
)

Возвращает форму(ы) выходных данных слоя в заданном узле.

get_updates_for

Просмотреть исходный код

get_updates_for(
    inputs
)

Возвращает обновления, относящиеся к определенному набору входов.

get_weights

Просмотреть исходный код

get_weights()

Возвращает текущие веса слоя.

set_weights

Просмотреть исходный код

set_weights(
    weights
)

Устанавливает веса слоя из массивов NumPy.

__call__

Просмотреть исходный код

__call__(
    inputs, *args, **kwargs
)

Оборачивает call, применяя этапы предобработки и пост-обработки.

Примечание:

• Следующие необязательные именованные аргументы зарезервированы для определенных целей:
  • training: Булевый скалярный тензор Python-булева типа, указывающий, предназначен ли call для обучения или предсказания.
  • mask: Булевый входной массив маски.
• Если метод call слоя принимает аргумент mask (как это делают некоторые слои Keras), его значение по умолчанию будет установлено в маску, сгенерированную для inputs предыдущим слоем (если input поступает со слоя, который сгенерировал соответствующую маску, то есть, если он поступает от слоя Keras с поддержкой маскирования).