Comment saisir une vidéo au format YUV à partir de la caméra, l'afficher et la traiter

Question

J'écris un programme iphone (IOS 4) qui capture la vidéo en direct de l'appareil photo et la traite en temps réel.

Je préfère capturer au format kCVPixelFormatType_420YpCbCr8BiPlanarFullRange pour faciliter le traitement (j'ai besoin de traiter le canal Y). Comment puis-je afficher des données dans ce format? Je suppose que je dois convertir en quelque sorte à un UIImage et ensuite le mettre dans un certain ImageView?

Actuellement, j'ai le code qui affiche les données kCVPixelFormatType_32BGRA, mais naturellement cela ne fonctionne pas avec kCVPixelFormatType_420YpCbCr8BiPlanarFullRange.

Ceci est le code que j'utilise maintenant pour la transformation, toute aide/échantillon sur la façon de faire la même chose pour kCVPixelFormatType_420YpCbCr8BiPlanarFullRange sera apprécié. (Aussi critique de ma méthode actuelle).

// Create a UIImage from sample buffer data 
- (UIImage *) imageFromSampleBuffer:(CMSampleBufferRef) sampleBuffer 
{ 
    // Get a CMSampleBuffer's Core Video image buffer for the media data 
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer); 
    // Lock the base address of the pixel buffer 
    CVPixelBufferLockBaseAddress(imageBuffer, 0); 

    // Get the number of bytes per row for the pixel buffer 
    void *baseAddress = CVPixelBufferGetBaseAddress(imageBuffer); 

    // Get the number of bytes per row for the pixel buffer 
    size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer); 
    // Get the pixel buffer width and height 
    size_t width = CVPixelBufferGetWidth(imageBuffer); 
    size_t height = CVPixelBufferGetHeight(imageBuffer); 

    // Create a device-dependent RGB color space 
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB(); 

    // Create a bitmap graphics context with the sample buffer data 
    CGContextRef context = CGBitmapContextCreate(baseAddress, width, height, 8, 
               bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst); 
    // Create a Quartz image from the pixel data in the bitmap graphics context 
    CGImageRef quartzImage = CGBitmapContextCreateImage(context); 

    // Unlock the pixel buffer 
    CVPixelBufferUnlockBaseAddress(imageBuffer,0); 

    // Free up the context and color space 
    CGContextRelease(context); 
    CGColorSpaceRelease(colorSpace); 

    // Create an image object from the Quartz image 
    UIImage *image = [UIImage imageWithCGImage:quartzImage]; 

    // Release the Quartz image 
    CGImageRelease(quartzImage); 

    return (image); 
} 

Answer 1

Répondre à ma propre question. cette résolu le problème que j'avais (ce qui était de saisir la sortie YUV, l'afficher et le traiter), bien que son pas exactement la réponse à la question:

pour saisir la sortie YUV de la caméra:

AVCaptureVideoDataOutput *videoOut = [[AVCaptureVideoDataOutput alloc] init]; 
[videoOut setAlwaysDiscardsLateVideoFrames:YES]; 
[videoOut setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange] forKey:(id)kCVPixelBufferPixelFormatTypeKey]]; 

Pour l'afficher tel quel, utilisez AVCaptureVideoPreviewLayer, il ne nécessite pas beaucoup de code. (Vous pouvez voir l'exemple FindMyiCon dans le pack d'échantillons WWDC par exemple).

Pour traiter le canal y YUV (bi-raboteuse dans ce cas, il est tout en un seul morceau, vous pouvez également utiliser memcpy au lieu de mise en boucle):

- (void)processPixelBuffer: (CVImageBufferRef)pixelBuffer { 

    CVPixelBufferLockBaseAddress(pixelBuffer, 0); 

    int bufferHeight = CVPixelBufferGetHeight(pixelBuffer); 
    int bufferWidth = CVPixelBufferGetWidth(pixelBuffer); 

    // allocate space for ychannel, reallocating as needed. 
    if (bufferWidth != y_channel.width || bufferHeight != y_channel.height) 
    { 
     if (y_channel.data) free(y_channel.data); 
     y_channel.width = bufferWidth; 
     y_channel.height = bufferHeight; 
     y_channel.data = malloc(y_channel.width * y_channel.height);   
    } 

    uint8_t *yc = CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 0); 
    int total = bufferWidth * bufferHeight; 
    for(int k=0;k<total;k++) 
    { 
     y_channel.data[k] = yc[k++]; // copy y channel 
    } 

    CVPixelBufferUnlockBaseAddress(pixelBuffer, 0); 
}