RTCRtpSender: свойство transform

Свойство transform объекта RTCRtpSender используется для вставки потока преобразований (TransformStream), работающего в потоке рабочего процесса, в конвейер отправителя. Это позволяет применять преобразования потока к закодированным видео- и аудиокадрам после их вывода кодеком и перед отправкой.

Преобразование, которое должно быть добавлено, определяется с помощью RTCRtpScriptTransform и его соответствующего Worker. Если преобразование задается синхронно сразу после создания RTCRtpSender, оно получит первый полный кадр, сгенерированный кодером отправителя.

A RTCRtpScriptTransform, или null если у отправителя нет связанного потока преобразований.

Этот пример демонстрирует, как можно транслировать видео с веб-камеры пользователя по протоколу WebRTC, добавляя преобразование WebRTC для изменения исходящих потоков. Обратите внимание, что это часть более крупного примера в разделе руководства Использование преобразований кодированных данных WebRTC.

Код предполагает, что есть соединение RTCPeerConnection с именем peerConnection, которое уже подключено к удалённому узлу. Сначала он получает MediaStreamTrack, используя getUserMedia() для получения видео MediaStream из устройства и затем метод MediaStream.getTracks() для получения первого MediaStreamTrack в потоке.

Трек добавляется к подключению peer connection с помощью addTrack(). Это возвращает новый RTCRtpSender, который будет использован для его отправки.

const mediaStream = await navigator.mediaDevices.getUserMedia({ video: true });
const [track] = mediaStream.getTracks();
const videoSender = peerConnection.addTrack(track, mediaStream);

Код выше настраивает соединение и начинает отправку трека. Для добавления потока преобразований в конвейер необходимо создать RTCRtpScriptTransform и назначить его свойству transform отправителя. Так как преобразование создаётся сразу после создания RTCRtpSender, оно получит первый закодированный кадр, сгенерированный кодером отправителя, прежде чем он будет отправлен.

const worker = new Worker("worker.js");
videoSender.transform = new RTCRtpScriptTransform(worker, {
  name: "senderTransform",
});

Обратите внимание, что вы можете добавить преобразование в любое время. Однако добавив его сразу после вызова addTrack(), преобразование получит первый закодированный кадр, который будет отправлен.

• Использование преобразований кодированных данных WebRTC
• RTCRtpReceiver.transform