CGImage à MPSTexture ou MPSImage

Question

J'ai une CGImage qui est construite à partir d'un tampon CVPixel (ARGB). Je veux convertir cette CGImage en une MTLTexture. J'utilise:

let texture: MTLTexture = try m_textureLoader.newTexture(with: cgImage, options: [MTKTextureLoaderOptionSRGB : NSNumber(value: true)]) 

Plus tard, je veux utiliser la texture dans un MPSImage ayant 3 canaux:

let sid = MPSImageDescriptor(channelFormat: MPSImageFeatureChannelFormat.float16, width: 40, height: 40, featureChannels: 3) 
preImage = MPSTemporaryImage(commandBuffer: commandBuffer, imageDescriptor: sid) 
lanczos.encode(commandBuffer: commandBuffer, sourceTexture: texture!, destinationTexture: preImage.texture) 
scale.encode (commandBuffer: commandBuffer, sourceImage: preImage, destinationImage: srcImage) 

Maintenant, mes questions: Comment textureLoader.newTexture (...) la carte les quatre ARVB canaux aux 3 canaux spécifiés dans le MPSImageDescriptor? Comment puis-je m'assurer que les composants RVB sont utilisés et non par ex. ARG? Existe-t-il un moyen de spécifier ce mappage de canal?

Merci, Chris

Answer 1

Pourquoi ne pas construire le MTLTexture du CVPixelBuffer directement? Est beaucoup plus rapide!

Est-ce que cette fois au début de votre programme:

// declare this somewhere, so we can re-use it 
var textureCache: CVMetalTextureCache? 

// create the texture cache object 
guard CVMetalTextureCacheCreate(kCFAllocatorDefault, nil, device, nil, &textureCache) == kCVReturnSuccess else { 
    print("Error: could not create a texture cache") 
    return false 
} 

Est-ce que cette fois que vous aurez votre CVPixelBuffer:

let width = CVPixelBufferGetWidth(pixelBuffer) 
let height = CVPixelBufferGetHeight(pixelBuffer) 

var texture: CVMetalTexture? 
CVMetalTextureCacheCreateTextureFromImage(kCFAllocatorDefault, textureCache, 
     pixelBuffer, nil, .bgra8Unorm, width, height, 0, &texture) 

if let texture = texture { 
    metalTexture = CVMetalTextureGetTexture(texture) 
} 

Maintenant metalTexture contient un objet MTLTexture avec le contenu du CVPixelBuffer.