Je voudrais saisir les points de fonctionnalité bruts trouvés par ARkit, cette API expose le nuage de points épars: https://developer.apple.com/documentation/arkit/arframe/2887449-rawfeaturepoints, et l'affiche comme une liste de vector_float3. Je voudrais aussi avoir la représentation vectorielle du point caractéristique à chacune de ces coordonnées de nuage de points, par exemple, il pourrait être SIFT, SURF, BRIEF, ou tout ce que ARkit utilise en interne. Je peux simplement saisir l'image du flux vidéo et lancer des détecteurs de caractéristiques sur l'image, mais il n'y a aucune garantie que les points caractéristiques seront à la même coordonnée 3D que les points du nuage de points clairsemé!Obtenir des points de caractéristiques de ARKit
1
A
Répondre
4
Apple n'expose pas le mécanisme interne pour localiser/générer des points caractéristiques. Ceci est typique pour Apple API - ils tendent à exposer les résultats sans divulguer les détails des algorithmes sous-jacents, car cela les libère de changer de tels algorithmes dans le futur, améliorant automatiquement l'expérience pour tous les produits d'expédition qui utilisent l'API.
En fait, Apple cite cette raison et implique que l'on doit éviter l'utilisation analytique du nuage de points ... là, sur la page de documentation que vous avez lié:
Arkit ne garantit pas que le nombre et l'agencement des points caractéristiques bruts restera stable entre les versions logicielles, ou même entre les trames suivantes dans la même session.