Представление активов

AVAsset базовый класс в платформе Основы AV. Это обеспечивает независимую от формата абстракцию основанных на времени аудиовизуальных данных, таких как файл ролика или видеопоток. Во многих случаях Вы работаете с одним из его подклассов: Вы используете подклассы состава при создании новых активов (см. Редактирование), и Вы используете AVURLAsset создать новый экземпляр актива из носителей в данном URL (включая активы от платформы MPMedia или платформы Библиотеки Актива — посмотрите Используя Активы).

Актив содержит набор дорожек, предназначающихся, чтобы быть представленными или обработанными вместе, каждый универсальный тип среды, включая (но не ограничиваясь этим) аудио, видео, текст, субтитры и подзаголовки. Объект актива предоставляет информацию о целом ресурсе, таком как его продолжительность или заголовок, а также подсказывает для представления, такого как его естественный размер. Активы могут также иметь метаданные, представленные экземплярами AVMetadataItem.

Дорожка представлена экземпляром AVAssetTrack. В типичном простом случае одна дорожка представляет аудио компонент, и другой представляет компонент видео; в сложном составе могут быть многократные перекрывающиеся дорожки аудио и видео.

Дорожка имеет много свойств, таких как ее тип (видео или аудио), визуальные и/или слышимые характеристики (как надлежащие), метаданные и временная шкала (выраженный с точки зрения ее родительского актива). Дорожка также имеет массив описаний формата. Массив содержит CMFormatDescription объекты (см. CMFormatDescriptionRef), каждый из которых описывает формат выборок носителей, на которые ссылается дорожка. Дорожка, содержащая универсальные носители (например, все закодированное использование к тем же настройкам) предоставит массиву количество 1.

Дорожка может самостоятельно быть разделена на сегменты, представленные экземплярами AVAssetTrackSegment. Сегмент является временем, отображаясь от источника до временной шкалы дорожки актива.

Представления времени

Время в Основе AV представлено примитивными структурами от Базовой платформы Носителей.

CMTime time1 = CMTimeMake(200, 2); // 200 half-seconds

CMTime time2 = CMTimeMake(400, 4); // 400 quarter-seconds

// time1 and time2 both represent 100 seconds, but using different timescales.

if (CMTimeCompare(time1, time2) == 0) {

    NSLog(@"time1 and time2 are the same");

}

Float64 float64Seconds = 200.0 / 3;

CMTime time3 = CMTimeMakeWithSeconds(float64Seconds , 3); // 66.66... third-seconds

time3 = CMTimeMultiply(time3, 3);

// time3 now represents 200 seconds; next subtract time1 (100 seconds).

time3 = CMTimeSubtract(time3, time1);

CMTimeShow(time3);

if (CMTIME_COMPARE_INLINE(time2, ==, time3)) {

    NSLog(@"time2 and time3 are the same");

}

CMTime myTime = <#Get a CMTime#>;

if (CMTIME_IS_INVALID(myTime)) {

    // Perhaps treat this as an error; display a suitable alert to the user.

}

CMTimeRangeContainsTime(range, CMTimeRangeGetEnd(range))

CMTimeRange myTimeRange = <#Get a CMTimeRange#>;

if (CMTIMERANGE_IS_EMPTY(myTimeRange)) {

    // The time range is zero.

}

Представления носителей

Видеоданные и его связанные метаданные представлены в Основе AV непрозрачными объектами от Базовой платформы Носителей. Базовые Носители представляют использование видеоданных CMSampleBuffer (см. CMSampleBufferRef). CMSampleBuffer Базовый Стиль основы непрозрачный тип; экземпляр содержит демонстрационный буфер для кадра видеоданных как Базовый Видео пиксельный буфер (см. CVPixelBufferRef). Вы получаете доступ к пиксельному буферу от демонстрационного буферного использования CMSampleBufferGetImageBuffer:

CVPixelBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(<#A CMSampleBuffer#>);

От пиксельного буфера можно получить доступ к фактическим видеоданным. Для примера посмотрите Преобразование CMSampleBuffer к Объекту UIImage.

В дополнение к видеоданным можно получить много других аспектов видеокадра:

• Информация синхронизации. Вы получаете точные метки времени и в течение времени исходной презентации и в течение времени декодирования с помощью CMSampleBufferGetPresentationTimeStamp и CMSampleBufferGetDecodeTimeStamp соответственно.

• Данные о формате. Данные о формате инкапсулируются в объекте CMFormatDescription (см. CMFormatDescriptionRef). Из описания формата можно получить, например, пиксельный тип и видео использование размерностей CMVideoFormatDescriptionGetCodecType и CMVideoFormatDescriptionGetDimensions соответственно.

• Метаданные. Метаданные сохранены в словаре как присоединение. Вы используете CMGetAttachment получать словарь:

  CMSampleBufferRef sampleBuffer = <#Get a sample buffer#>;

  CFDictionaryRef metadataDictionary =

  CMGetAttachment(sampleBuffer, CFSTR("MetadataDictionary", NULL);

  if (metadataDictionary) {

  // Do something with the metadata.

  }

Преобразование CMSampleBuffer к объекту UIImage

Следующий код показывает, как можно преобразовать a CMSampleBuffer к a UIImage объект. Необходимо рассмотреть требования тщательно перед использованием его. Выполнение преобразования является сравнительно дорогой работой. Это является надлежащим, например, создайте неподвижное изображение из кадра видеоданных, бравшихся каждую секунду или около этого. Вы не должны использовать это в качестве средние значения для управления каждым кадром видео, прибывающего из устройства захвата изображения в режиме реального времени.

// Create a UIImage from sample buffer data

- (UIImage *) imageFromSampleBuffer:(CMSampleBufferRef) sampleBuffer

{

    // Get a CMSampleBuffer's Core Video image buffer for the media data

    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);

    // Lock the base address of the pixel buffer

    CVPixelBufferLockBaseAddress(imageBuffer, 0);

    // Get the number of bytes per row for the pixel buffer

    void *baseAddress = CVPixelBufferGetBaseAddress(imageBuffer);

    // Get the number of bytes per row for the pixel buffer

    size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer);

    // Get the pixel buffer width and height

    size_t width = CVPixelBufferGetWidth(imageBuffer);

    size_t height = CVPixelBufferGetHeight(imageBuffer);

    // Create a device-dependent RGB color space

    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();

    // Create a bitmap graphics context with the sample buffer data

    CGContextRef context = CGBitmapContextCreate(baseAddress, width, height, 8,

      bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst);

    // Create a Quartz image from the pixel data in the bitmap graphics context

    CGImageRef quartzImage = CGBitmapContextCreateImage(context);

    // Unlock the pixel buffer

    CVPixelBufferUnlockBaseAddress(imageBuffer,0);

    // Free up the context and color space

    CGContextRelease(context);

    CGColorSpaceRelease(colorSpace);

    // Create an image object from the Quartz image

    UIImage *image = [UIImage imageWithCGImage:quartzImage];

    // Release the Quartz image

    CGImageRelease(quartzImage);

    return (image);

}