RTCEncodedVideoFrame: свойство type

Чтение только свойство type интерфейса RTCEncodedVideoFrame указывает, является ли этот кадр ключевым кадром, кадром-изменением или пустым кадром.

Тип может иметь одно из следующих значений:

key

Это "ключевой кадр", который содержит всю информацию, необходимую для отрисовки изображения. Он может быть декодирован без ссылки на другие кадры.

delta

Это "кадр-изменение", который содержит изменения в изображении относительно предыдущего кадра. Кадр нельзя декодировать без доступа к кадру(ам), на который он ссылается.

empty

Этот кадр не содержит данных. Это значение неожиданно и может указывать на то, что преобразование хранит ссылку на кадры после их преобразования и передачи в RTCRtpScriptTransformer.writable (после передачи обратно в главную нить WebRTC-потока, объект кадра со стороны воркера не будет содержать данных).

Реализация функции transform() в WebRTC кодированном преобразовании может анализировать значение type и изменять код преобразования в зависимости от того, обрабатывается ли ключевой кадр или кадр-изменение:

const transformer = new TransformStream({
  transform: async (encodedFrame, controller) => {
    if (encodedFrame.type === "key") {
      // Apply key frame transformation
    } else if (encodedFrame.type === "delta") {
      // Apply delta frame transformation
    } else {
      // Empty
      // Check transform is not holding reference to frames after processing!
    }
    controller.enqueue(encodedFrame);
  },
});

• Использование WebRTC кодированных преобразований