Comment utiliser le décodage matériel pour l'audio?

Question

J'ai un tampon contenant des paquets lus par ffmpeg à partir d'un fichier vidéo encodé en H264/AAC Selon le document d'Apple, flux audio encodé au format AAC peut être décoder avec support matériel,

comment décoder le flux audio support matériel? MISE À JOUR: J'utilise Audio Queue Service pour sortir l'audio. En ce moment, je décode le paquet AAC en utilisant ffmpeg et envoie l'audio LPCM à AQS. Selon le document Apple, je peux envoyer directement de l'audio AAC à AQ et il s'occupera de la tâche de décodage. Décode-t-il avec du matériel? Ai-je besoin et comment définir le paramètre Audio Queue pour activer le décodage matériel audio?

Answer 1

Vous pouvez indiquer au système de ne pas utiliser le décodage matériel, mais probablement pas l'inverse. Constante pour déterminer quels codecs matériels peuvent être utilisés.

enum { 
    kAudioFormatProperty_HardwareCodecCapabilities = 'hwcc', 
}; 

Constantes kAudioFormatProperty_HardwareCodecCapabilities Une valeur UInt32 indiquant le nombre de codecs de la liste spécifiée qui peuvent être utilisés, si la demande devait commencer à les utiliser dans l'ordre spécifié. Définissez le paramètre inSpecifier sur un tableau de structures AudioClassDescription qui décrit un ensemble d'un ou de plusieurs codecs audio. Si la valeur de la propriété est la même que la taille du tableau dans le paramètre inSpecifier, tous les codecs spécifiés peuvent être utilisés. Disponible dans iOS 3.0 et versions ultérieures. Déclaré dans AudioFormat.h. Discussion Utilisez cette propriété pour déterminer si un ensemble de codecs souhaité peut être instancié simultanément.

Les codecs matériels peuvent être utilisés uniquement lors de la lecture ou de l'enregistrement à l'aide de services de file d'attente audio ou à l'aide d'interfaces, telles que AV Foundation, qui utilisent les services de file d'attente audio. En particulier, vous ne pouvez pas utiliser de codecs audio matériels avec OpenAL ou lorsque vous utilisez l'unité audio E/S. Lors de la description de la présence d'un codec matériel, le système ne tient pas compte de la catégorie de session audio en cours. Certaines catégories interdisent l'utilisation de codecs matériels. Un ensemble de codecs matériels est considéré comme disponible, par cette constante, basé uniquement sur le fait que le matériel prend en charge la combinaison spécifiée de codecs.

Certains codecs peuvent être disponibles dans les implémentations matérielles et logicielles. Utilisez les constantes kAudioFormatProperty_Encoders et kAudioFormatProperty_Decoders pour déterminer si un codec donné est présent et s'il s'agit d'un matériel ou d'un logiciel.

Les codecs logiciels peuvent toujours être instanciés, il n'est donc pas nécessaire d'utiliser cette constante lors de l'utilisation du codage ou du décodage logiciel.

L'exemple de code suivant illustre comment vérifier si oui ou non un codeur AAC matériel et un décodeur AAC matériel sont disponibles, dans cet ordre de priorité:

AudioClassDescription requestedCodecs[2] = { 
    { 
     kAudioEncoderComponentType, 
     kAudioFormatAAC, 
     kAppleHardwareAudioCodecManufacturer 
    }, 
    { 
     kAudioDecoderComponentType, 
     kAudioFormatAAC, 
     kAppleHardwareAudioCodecManufacturer 
    } 
}; 

UInt32 successfulCodecs = 0; 
size = sizeof (successfulCodecs); 
OSStatus result = AudioFormatGetProperty (
         kAudioFormatProperty_HardwareCodecCapabilities, 
         requestedCodecs, 
         sizeof (requestedCodecs), 
         &size, 
         &successfulCodecs 
        ); 
switch (successfulCodecs) { 
    case 0: 
     // aac hardware encoder is unavailable. aac hardware decoder availability 
     // is unknown; could ask again for only aac hardware decoding 
    case 1: 
     // aac hardware encoder is available but, while using it, no hardware 
     // decoder is available. 
    case 2: 
     // hardware encoder and decoder are available simultaneously 
} 

https://github.com/mooncatventures-group/sampleDecoder

Vous avez sans doute mieux à l'aide audioUnits cependant plutôt que la file d'attente audio

Answer 2

Vous pouvez, bien que, comme d'habitude avec Core Audio, il existe diverses mises en garde et cas de bords à surveiller.

Définissez la propriété kExtAudioFileProperty_CodecManufacturer sur kAppleHardwareAudioCodecManufacturer. Faites-le avant de définir le format de données client.

Quelques docs dans ExtendedAudioFile.h

Answer 3

plutôt que de faire ce calcul juste forcer une très grande taille de tampon ici.

status = AudioQueueAllocateBufferWithPacketDescriptions (audioQueue_, _audioCodecContext-> bit_rate * kAudioBufferSeconds/8, _audioCodecContext-> sample_rate * kAudioBufferSeconds/ _audioCodecContext-> frame_size + 1, & audioQueueBuffer_ [i]);

Answer 4

trouvé ce petit bijou:

https://developer.apple.com/library/ios/qa/qa1663/_index.html

Depuis le AudioFormatGetProperty ne fonctionne pas trop souvent. Ce qui précède décrit comment utiliser AudioFormatGetPropetyInfo pour le codeur ou le décodeur et détecter ce qui est présent dans hw ou sw.