Аппаратные и программные Аудиокодеки iOS

Для обеспечения оптимальной производительности и качества необходимо выбрать правильный формат аудио и тип аудиокодека. При запуске в iOS 3.0 большинство форматов аудио может использовать основанное на программном обеспечении кодирование (для записи) и декодирование (для воспроизведения). Кодеки программного обеспечения поддерживают одновременное воспроизведение многократных звуков, но могут повлечь за собой значительный CPU наверху.

Помогшее с аппаратными средствами декодирование обеспечивает превосходную производительность — но не поддерживает одновременное воспроизведение многократных звуков. Если необходимо максимизировать частоту видеокадров в приложении, минимизировать влияние на ЦП воспроизведения аудио при помощи несжатого аудио или формата IMA4, или использовать помогшее с аппаратными средствами декодирование сжатых аудио активов.

Для уведомления наиболее успешной практики относительно выбора формата аудио посмотрите Предпочтительные Форматы аудио в iOS.

Таблица 1-1 описывает аудиокодеки воспроизведения, доступные на устройствах на iOS.

При использовании помогшего с аппаратными средствами декодирования устройство может играть только единственный экземпляр одного из поддерживаемых форматов за один раз. Например, при игре звука MP3 стерео использование аппаратного кодека второй одновременный звук MP3 будет использовать декодирование программного обеспечения. Точно так же Вы не можете одновременно играть AAC, и ALAC звучат как аппаратные средства использования. Если приложение iPod играет AAC или звук MP3 в фоновом режиме, это требовало аппаратного кодека; Ваше приложение тогда играет AAC, ALAC и аудио MP3 использование декодирования программного обеспечения.

Чтобы играть многократные звуки с лучшей производительностью или эффективно играть звуки, в то время как iPod играет в фоновом режиме, линейный (несжатый) PCM использования или IMA4 (сжал) аудио.

Чтобы изучить, как проверить во время выполнения, какие аппаратные и программные кодеки доступны на устройстве, считайте обсуждение для kAudioFormatProperty_HardwareCodecCapabilities постоянный в Ссылке Audio Format Services и читают Технические Вопросы и ответы QA1663, “Определение доступности аппаратного кодера AAC во время выполнения”.

Подводить итог, как iOS поддерживает форматы аудио для единственного или многократного воспроизведения:

• Линейный PCM и IMA4 (IMA/ADPCM) Вы могут играть многократный линейный PCM или звуки IMA4 одновременно в iOS, не подвергаясь проблемам ресурса CPU. То же является истиной для iLBC формата речевого качества, и для µ-law и законные сжатые форматы. При использовании сжатых форматов проверьте качество звука, чтобы гарантировать, что оно удовлетворяет Ваши потребности.

• AAC, HE-AAC, MP3 и ALAC (Apple Lossless) Воспроизведение для AAC, HE-AAC, MP3 и звуков ALAC могут использовать эффективное помогшее с аппаратными средствами декодирование на устройствах на iOS, но эти кодеки вся доля единственный аппаратный путь. Устройство может играть только единственный экземпляр одного из этих форматов во время с помощью помогшего с аппаратными средствами декодирования.

Единственный аппаратный путь для AAC, HE-AAC, MP3 и воспроизведения ALAC имеет импликации для, «манипулируют» приложениями стиля, такими как виртуальное фортепьяно. Если пользователь будет играть песню в одном из этих трех форматов в приложении iPod, то Ваше приложение — для манипулирования по тому аудио — будет использовать декодирование программного обеспечения.

Таблица 1-2 описывает аудиокодеки записи, доступные на устройствах на iOS.

Аудио сеансы

Сеанс аудио iOS APIs позволяет Вам определить общее аудио поведение своего приложения и разработать его для работы хорошо в большем аудио контексте устройства, на котором это работает. Этот APIs описан в Аудио Ссылке класса Ссылки и AVAudioSession Сеансовых служб. Используя этот APIs, можно указать такие способы поведения как:

• Должно ли Ваше аудио быть заставлено замолчать переключателем Silent (на iPhone, это вызывают переключателем Ring/Silent),

• Должно ли Ваше аудио остановиться на экранную блокировку

• Когда Ваше аудио запускается, должно ли другое аудио, такой как от iPod, продолжать играть или быть заставлено замолчать

Аудио APIs сеанса также позволяет Вам реагировать на пользовательские действия, такие как включение в или отключение гарнитур, и к событиям, использующим звуковое оборудование устройства, такое как Часы и Календарные предупреждения и входящие телефонные вызовы.

Аудио сеанс APIs обеспечивает три программируемых функции, описанные в Таблице 1-3.

Существует два интерфейса для работы с аудио сеансом:

• Оптимизированный, объективный-C интерфейс, предоставляющий Вам доступ к базовым аудио функциям сеанса и описанный в Ссылке на протокол Ссылки класса и AVAudioSessionDelegate AVAudioSession.

• Интерфейс на базе С, обеспечивающий всесторонний доступ к весь основной и усовершенствовавший аудио функции сеанса и описан в Аудио Ссылке Сеансовых служб.

Вы можете код сеанса аудио смешивания и подгонки от Основы AV и Аудио Сеансовых служб — интерфейсы абсолютно совместимы.

Аудио сеанс идет с некоторым поведением по умолчанию, которое можно использовать для начала работы в разработке. Однако за исключением определенных особых случаев, поведение по умолчанию является неподходящим для поставляющего приложения, использующего аудио.

Например, когда период Автоблокировки испытывает таймаут и экранные блокировки, при использовании аудио сеанса по умолчанию останавливается аудио в Вашем приложении. Если Вы хотите гарантировать, что воспроизведение продолжает заблокированный экран, включайте следующие строки в код инициализации своего приложения:

NSError *setCategoryErr = nil;

NSError *activationErr  = nil;

[[AVAudioSession sharedInstance]

              setCategory: AVAudioSessionCategoryPlayback

                    error: &setCategoryErr];

[[AVAudioSession sharedInstance]

                setActive: YES

                    error: &activationErr];

AVAudioSessionCategoryPlayback категория гарантирует, что воспроизведение продолжается, когда экран блокирует. Активация аудио сеанса осуществляет указанную категорию.

Как Вы обрабатываете прерывание, вызванное входящим телефонным вызовом, или предупреждение Часов или Календаря зависит от аудио технологии, которую Вы используете, как показано в Таблице 1-4.

Каждое приложение для iOS — за редким исключением — должно активно управлять своим аудио сеансом. Для полного объяснения того, как сделать это, считайте Аудио Руководство по программированию Сеанса. Чтобы гарантировать, что Ваше приложение соответствует рекомендациям Apple для аудио поведения сеанса, считайте Soundin Инструкции по Интерфейсу пользователя iOS.

Игра Аудио Элементов с Библиотечным доступом iPod

Запускаясь в iOS 3.0, библиотечный доступ iPod позволяет Вашему приложению играть песни пользователя, аудиокниги и аудиоподкасты. Проект API делает основное воспроизведение очень простым, также поддерживая усовершенствованный поиск и управление воспроизведением.

Как показано на рисунке 1-1, Ваше приложение имеет два способа получить элементы носителей. Средство выбора элемента носителей, показанное слева, является простым в использовании, предварительно упакованным контроллером представления, ведущим себя как встроенный интерфейс выбора музыки приложения iPod. Для многих приложений это достаточно. Если средство выбора не обеспечивает специализированное управление доступом, Вы хотите, интерфейс мультимедийного запроса будет. Это поддерживает основанную на предикате спецификацию элементов от библиотеки iPod.

Как изображено в числе направо от Вашего приложения, Вы тогда играете полученные элементы носителей с помощью аудиоплеера, предоставленного этим API.

Для полного объяснения того, как добавить воспроизведение элемента носителей к Вашему приложению, см. Руководство по программированию Библиотечного доступа iPod. Для примера кода см. проект примера кода AddMusic.

Игра звуковых эффектов UI или вызов вибрации Используя системные службы звука

Играть звуковые эффекты пользовательского интерфейса (такие как нажатия кнопок) или вызвать вибрацию на устройства, поддерживающие его, System Sound Services использования. Этот компактный интерфейс описан в Ссылке System Sound Services. Можно счесть пример кода в Аудио Звуками UI (SysSound) выборка в iOS Центр Dev.

AudioServicesPlaySystemSound функция позволяет Вам очень просто играть короткие звуковые файлы. Простота переносит с ним несколько ограничений. Ваши звуковые файлы должны быть:

• Больше, чем 30 секунд в продолжительности

• В линейном PCM или IMA4 (IMA/ADPCM) формат

• Упакованный в a .caf, .aif, или .wav файл

Кроме того, когда Вы используете AudioServicesPlaySystemSound функция:

• Звуки играют в громкости существующей системы без программируемого доступного регулятора громкости

• Звуки сразу играют

• Цикличное выполнение и расположение стерео недоступны

• Одновременное воспроизведение недоступно: можно играть только один звук за один раз

Подобное AudioServicesPlayAlertSound функционируйте играет короткий звук как предупреждение. Если пользователь сконфигурировал их устройство для вибрирования в Кольцевых Настройках, вызывание этой функции вызывает вибрацию в дополнение к игре звукового файла.

Играть звук с AudioServicesPlaySystemSound или AudioServicesPlayAlertSound функция, сначала создайте звуковой объект ID, как показано в Перечислении 1-1.

Перечисление 1-1  , Создающее звуковой объект ID

    // Get the main bundle for the app

    CFBundleRef mainBundle = CFBundleGetMainBundle ();

    // Get the URL to the sound file to play. The file in this case

    // is "tap.aif"

    soundFileURLRef  = CFBundleCopyResourceURL (

                           mainBundle,

                           CFSTR ("tap"),

                           CFSTR ("aif"),

                           NULL

                       );

    // Create a system sound object representing the sound file

    AudioServicesCreateSystemSoundID (

        soundFileURLRef,

        &soundFileObject

    );

Тогда играйте звук, как показано в Перечислении 1-2.

Перечисление 1-2  Играя системный звук

- (IBAction) playSystemSound {

    AudioServicesPlaySystemSound (self.soundFileObject);

}

В типичном использовании, включающем игру звука иногда или неоднократно, сохраняют звуковой объект ID до Ваших выходов приложения. Если Вы знаете об использовании звука только один раз — например, в случае звука запуска — можно сразу уничтожить звуковой объект ID после игры звука, освободив память.

Приложения, работающие на устройствах на iOS, поддерживающих вибрацию, могут инициировать то использование функции System Sound Services. Вы указываете вибрировать опцию с kSystemSoundID_Vibrate идентификатор. Для инициирования его используйте AudioServicesPlaySystemSound функция, как показано в Перечислении 1-3.

Перечисление 1-3  , Инициировавшее вибрацию

#import <AudioToolbox/AudioToolbox.h>

#import <UIKit/UIKit.h>

- (void) vibratePhone {

    AudioServicesPlaySystemSound (kSystemSoundID_Vibrate);

}

Если Ваше приложение работает на iPod touch, этот код ничего не делает.

Игра звуков легко с классом AVAudioPlayer

AVAudioPlayer класс обеспечивает простой интерфейс Objective-C для игры звуков. Если Ваше приложение не требует расположения стерео или точной синхронизации, и если Вы не играете аудио, полученное от сетевого потока, Apple рекомендует использовать этот класс для воспроизведения.

Используя аудиоплеер Вы можете:

• Звуки игры любой продолжительности

• Игра звучит от файлов или буферов памяти

• Звуки цикла

• Играйте многократные звуки одновременно (несмотря на то, что не с точной синхронизацией)

• Управляйте относительным уровнем воспроизведения для каждого звука, который Вы играете

• Ищите на определенную точку в звуковом файле, поддерживающем функции приложения, такие как ускоренная перемотка и перемотка

• Получите данные мощности звука, которые можно использовать для измерения уровня звука

AVAudioPlayer класс позволяет Вам играть звук в любом формате аудио, доступном в iOS, как описано в Таблице 1-1. Для полного описания интерфейса этого класса посмотрите Ссылку класса AVAudioPlayer.

Сконфигурировать аудиоплеер:

1. Присвойте звуковой файл аудиоплееру.

2. Подготовьте аудиоплеер к воспроизведению, получающему аппаратные ресурсы, в которых это нуждается.

3. Назовите делегата аудиоплеера объектом, обрабатывающим прерывания, а также завершенное воспроизведением событие.

Код в Перечислении 1-4 иллюстрирует эти шаги. Это обычно входило бы в метод инициализации класса контроллера для Вашего приложения. (В производственном коде Вы включали бы надлежащую обработку ошибок.)

Перечисление 1-4  , Конфигурирующее объект AVAudioPlayer

// in the corresponding .h file:

// @property (nonatomic, retain) AVAudioPlayer *player;

// in the .m file:

@synthesize player; // the player object

NSString *soundFilePath =

            [[NSBundle mainBundle] pathForResource: @"sound"

                                            ofType: @"wav"];

NSURL *fileURL = [[NSURL alloc] initFileURLWithPath: soundFilePath];

AVAudioPlayer *newPlayer =

            [[AVAudioPlayer alloc] initWithContentsOfURL: fileURL

                                                   error: nil];

[fileURL release];

self.player = newPlayer;

[newPlayer release];

[player prepareToPlay];

[player setDelegate: self];

Делегат (который может быть Вашим объектом контроллера) обрабатывает прерывания и обновляет пользовательский интерфейс, когда звук закончил играть. Методы делегата для AVAudioPlayer класс описан в Ссылке на протокол AVAudioPlayerDelegate. Перечисление 1-5 показывает простую реализацию одного метода делегата. Когда звук закончил играть, этот код обновляет заголовок выключателя Play/Pause.

Перечисление 1-5  Реализовывая метод делегата AVAudioPlayer

- (void) audioPlayerDidFinishPlaying: (AVAudioPlayer *) player

                        successfully: (BOOL) completed {

    if (completed == YES) {

        [self.button setTitle: @"Play" forState: UIControlStateNormal];

    }

}

Для игры приостановитесь или остановитесь AVAudioPlayer объект, вызовите один из его методов управления воспроизведением. Можно протестировать, происходит ли воспроизведение при помощи playing свойство. Перечисление 1-6 показывает основной метод переключателя игры/паузы, что воспроизведение средств управления и обновляет заголовок a UIButton объект.

Перечисление 1-6  , Управляющее объектом AVAudioPlayer

- (IBAction) playOrPause: (id) sender {

    // if already playing, then pause

    if (self.player.playing) {

        [self.button setTitle: @"Play" forState: UIControlStateHighlighted];

        [self.button setTitle: @"Play" forState: UIControlStateNormal];

        [self.player pause];

    // if stopped or paused, start playing

    } else {

        [self.button setTitle: @"Pause" forState: UIControlStateHighlighted];

        [self.button setTitle: @"Pause" forState: UIControlStateNormal];

        [self.player play];

    }

}

AVAudioPlayer класс использует Objective C, объявил функцию свойств управления информацией о звуке — таком как точка воспроизведения во временной шкале звука, и для доступа к опциям воспроизведения — таким как объем и цикличное выполнение. Например, можно установить громкость воспроизведения для аудиоплеера как показано здесь:

[self.player setVolume: 1.0];    // available range is 0.0 through 1.0

Для получения дополнительной информации о AVAudioPlayer класс, посмотрите Ссылку класса AVAudioPlayer.

Игра звуков с управлением Используя службы аудио-очереди

Audio Queue Services добавляет возможности воспроизведения вне доступных с AVAudioPlayer класс. Using Audio Queue Services для воспроизведения позволяет Вам:

• Точно запланируйте, когда звук будет играть, позволяя синхронизацию

• Точно управляйте объемом на основе буфера буфером

• Играйте аудио, что Вы получили от потокового использования Audio File Stream Services

Audio Queue Services позволяет Вам играть звук в любом формате аудио, доступном в iOS, как описано в Таблице 1-1. Можно также использовать эту технологию для записи, как объяснено в Записи Аудио.

Для получения дальнейшей информации при использовании этой технологии, посмотрите Ссылку Audio Queue Services Programming Guide and Audio Queue Services. Для примера кода посмотрите выборку SpeakHere.

static const int kNumberBuffers = 3;

// Create a data structure to manage information needed by the audio queue

struct myAQStruct {

    AudioFileID                     mAudioFile;

    CAStreamBasicDescription        mDataFormat;

    AudioQueueRef                   mQueue;

    AudioQueueBufferRef             mBuffers[kNumberBuffers];

    SInt64                          mCurrentPacket;

    UInt32                          mNumPacketsToRead;

    AudioStreamPacketDescription    *mPacketDescs;

    bool                            mDone;

};

// Define a playback audio queue callback function

static void AQTestBufferCallback(

    void                   *inUserData,

    AudioQueueRef          inAQ,

    AudioQueueBufferRef    inCompleteAQBuffer

) {

    myAQStruct *myInfo = (myAQStruct *)inUserData;

    if (myInfo->mDone) return;

    UInt32 numBytes;

    UInt32 nPackets = myInfo->mNumPacketsToRead;

    AudioFileReadPackets (

        myInfo->mAudioFile,

        false,

        &numBytes,

        myInfo->mPacketDescs,

        myInfo->mCurrentPacket,

        &nPackets,

        inCompleteAQBuffer->mAudioData

    );

    if (nPackets > 0) {

        inCompleteAQBuffer->mAudioDataByteSize = numBytes;

        AudioQueueEnqueueBuffer (

            inAQ,

            inCompleteAQBuffer,

            (myInfo->mPacketDescs ? nPackets : 0),

            myInfo->mPacketDescs

        );

        myInfo->mCurrentPacket += nPackets;

    } else {

        AudioQueueStop (

            myInfo->mQueue,

            false

        );

        myInfo->mDone = true;

    }

}

// Instantiate an audio queue object

AudioQueueNewOutput (

    &myInfo.mDataFormat,

    AQTestBufferCallback,

    &myInfo,

    CFRunLoopGetCurrent(),

    kCFRunLoopCommonModes,

    0,

    &myInfo.mQueue

);

Float32 volume = 1;    // linear scale, range from 0.0 through 1.0

AudioQueueSetParameter (

    myAQstruct.audioQueueObject,

    kAudioQueueParam_Volume,

    volume

);

typedef struct AudioQueueLevelMeterState {

    Float32     mAveragePower;

    Float32     mPeakPower;

};  AudioQueueLevelMeterState;

Игра звуков с расположением Используя OpenAL

Открыто полученное аудио OpenAL API, доступный в iOS в платформе OpenAL, обеспечивает интерфейс, оптимизированный для расположения звуков в стереополе во время воспроизведения. Игра, располагая и перемещая звуки работает, как она делает на других платформах. OpenAL также позволяет Вам смешать звуки. OpenAL использует модуль I/O для воспроизведения, приводящего к самой низкой задержке.

По всем этим причинам OpenAL является Вашим лучшим выбором для игры звуков в игровых приложениях на основанных на iOS устройствах. Однако OpenAL является также хорошим выбором для общих потребностей воспроизведения аудио приложения для iOS.

Поддержка OpenAL 1.1 в iOS создается поверх Core Audio. Для получения дополнительной информации посмотрите OpenAL FAQ для iPhone OS. Для примера кода см. oalTouch.

Запись с классом AVAudioRecorder

Самый простой способ записать звук в iOS с AVAudioRecorder класс, описанный в Ссылке класса AVAudioRecorder. Этот класс обеспечивает высоко оптимизированный, интерфейс Objective-C, упрощающий обеспечивать сложные функции как приостановка/возобновление записи и обработка прерываний звука. Одновременно, Вы сохраняете полный контроль над форматом записи.

Подготавливаться к записи использования магнитофона:

1. Укажите звуковой файл URL.

2. Установите аудио сеанс.

3. Сконфигурируйте начальное состояние магнитофона.

Запуск приложения является хорошим временем, чтобы внести свой вклад из установки, как показано в Перечислении 1-10. Переменные такой как soundFileURL и recording в этом примере объявляются в интерфейсе класса. (В производственном коде Вы включали бы надлежащую обработку ошибок.)

Перечисление 1-10  , Настраивающее аудио сеанс и звуковой файл URL

- (void) viewDidLoad {

    [super viewDidLoad];

    NSString *tempDir = NSTemporaryDirectory ();

    NSString *soundFilePath =

                [tempDir stringByAppendingString: @"sound.caf"];

    NSURL *newURL = [[NSURL alloc] initFileURLWithPath: soundFilePath];

    self.soundFileURL = newURL;

    [newURL release];

    AVAudioSession *audioSession = [AVAudioSession sharedInstance];

    audioSession.delegate = self;

    [audioSession setActive: YES error: nil];

    recording = NO;

    playing = NO;

}

Для обработки прерываний и завершения записи добавьте AVAudioSessionDelegate и AVAudioRecorderDelegate протокол называет к объявлению интерфейса для Вашей реализации. Если Ваше приложение также воспроизводит, также примите AVAudioPlayerDelegate Protocol Reference протокол.

Для реализации рекордного метода можно использовать код, такой как показанный в Перечислении 1-11. (В производственном коде Вы включали бы надлежащую обработку ошибок.)

Перечисление 1-11  метод записи/остановки с помощью класса AVAudioRecorder

- (IBAction) recordOrStop: (id) sender {

   if (recording) {

      [soundRecorder stop];

      recording = NO;

      self.soundRecorder = nil;

      [recordOrStopButton setTitle: @"Record" forState:

                                        UIControlStateNormal];

      [recordOrStopButton setTitle: @"Record" forState:

                                        UIControlStateHighlighted];

      [[AVAudioSession sharedInstance] setActive: NO error: nil];

   } else {

      [[AVAudioSession sharedInstance]

                            setCategory: AVAudioSessionCategoryRecord

                                  error: nil];

      NSDictionary *recordSettings =

         [[NSDictionary alloc] initWithObjectsAndKeys:

           [NSNumber numberWithFloat: 44100.0], AVSampleRateKey,

             [NSNumber numberWithInt: kAudioFormatAppleLossless], AVFormatIDKey,

             [NSNumber numberWithInt: 1], AVNumberOfChannelsKey,

             [NSNumber numberWithInt: AVAudioQualityMax],

                                        AVEncoderAudioQualityKey,

             nil];

      AVAudioRecorder *newRecorder =

            [[AVAudioRecorder alloc] initWithURL: soundFileURL

                                        settings: recordSettings

                                           error: nil];

      [recordSettings release];

      self.soundRecorder = newRecorder;

      [newRecorder release];

      soundRecorder.delegate = self;

      [soundRecorder prepareToRecord];

      [soundRecorder record];

      [recordOrStopButton setTitle: @"Stop" forState: UIControlStateNormal];

      [recordOrStopButton setTitle: @"Stop" forState: UIControlStateHighlighted];

      recording = YES;

   }

}

Для получения дополнительной информации о AVAudioRecorder класс, посмотрите Ссылку класса AVAudioRecorder.

Запись со службами аудио-очереди

Для установки для записи с аудио с Audio Queue Services приложение инстанцирует объекта аудио-очереди записи и обеспечивает функцию обратного вызова. Хранилища обратного вызова, поступающие аудиоданные в памяти для непосредственного использования или записей это к файлу для долгосрочного хранения.

Так же, как с воспроизведением, можно получить текущий уровень звука записи из объекта аудио-очереди путем запросов kAudioQueueProperty_CurrentLevelMeter свойство, как описано в Указании Уровня Воспроизведения.

Для подробных примеров того, как использовать Audio Queue Services для записи аудио, посмотрите Аудио Записи в Руководстве по программированию Audio Queue Services. Для примера кода посмотрите выборку SpeakHere.

Подсказки для Использования аудио

Таблица 1-6 перечисляет некоторые важные подсказки для учета при использовании аудио в iOS.

Предпочтительные Форматы аудио в iOS

Для несжатого аудио (высшего качества) используйте 16-разрядные, линейные аудиоданные PCM с прямым порядком байтов, упакованные в файле CAF. Можно преобразовать аудиофайл в этот формат в Mac OS X с помощью afconvert инструмент командной строки, как показано здесь:

/usr/bin/afconvert -f caff -d LEI16 {INPUT} {OUTPUT}

afconvert инструмент позволяет Вам преобразовать в широкий диапазон форматов аудиоданных и типов файлов. Посмотрите afconvert страница справочника, и входит afconvert -h при приглашении оболочки, для получения дополнительной информации.

Для сжатого аудио при игре одного звука за один раз, и когда Вы не должны играть аудио одновременно с приложением iPod, используют формат AAC, упакованный в CAF или m4a файле.

Для меньшего количества использования памяти, когда необходимо будет играть многократные звуки одновременно, используйте IMA4 (IMA/ADPCM) сжатие. Это сокращает размер файла, но влечет за собой минимальное влияние на ЦП во время распаковки. Как с линейными данными PCM, пакет данные IMA4 в файле CAF.