Mappage des relevés de profondeur Kinect à Unity

Question

Nous sommes très novices dans l'utilisation de Microsoft Kinect et nous essayons de l'associer à notre jeu Unity 2D pour un projet de classe. Une partie de notre projet de classe exige que nous projetions le jeu sur un tissu, et que l'utilisateur appuie sur le tissu afin d'interagir avec le jeu. Le joueur tapera sur le tissu afin de recueillir les objets qui tombent. Nous essayons d'utiliser la carte de profondeur avec le Kinect afin de voir où un utilisateur a tapé sur l'écran, puis nous pouvons voir avec quel objet ils interagissent.

Nous éprouvons des difficultés à trouver un moyen de transformer les coordonnées de profondeur Kinect en coordonnées qui fonctionnent avec notre jeu. Nous sommes incapables d'utiliser le suivi du squelette en raison de notre configuration. Quelqu'un a-t-il une quelconque expérience de la transformation des données de coordonnées de profondeur Kinect en un jeu 2D Unity sans utiliser de fonctions squelettiques? Vous trouverez ci-dessous un schéma de notre configuration pour la clarification.

Answer 1

votre problème semble provenir de la profondeur de kinect de fait et les flux couleur ne sont pas alignés. Cela signifie que pour chaque pixle de profondeur, il y a un certain décalage à prendre en compte. Par conséquent, vous devez:

avant d'acquérir le premier cadre de profondeur, obtenez le mappeur de coordonnées.

KinectSensor Sensor = KinectSensor.GetDefault(); 
CoordinateMapper mapper = Sensor.CoordinateMapper; 

après que ces types sont prêts. acquérir votre premier cadre de profondeur. l'utiliser avec le cartographe pour remplir un tableau de ColorSpacePoint comme ceci:

ColorSpacePoint[] _colorPoints; 
mapper.MapDepthFrameToColorSpace(DepthData, _colorPoints); 

ce tableau nouvellement peuplé contiendra vos données de profondeur mis en correspondance avec l'espace couleur de la caméra kinect. vous allez commencer à obtenir des données précises et fiables sur le positionnement de la profondeur à l'intérieur de la couleur et en utilisant l'image fournie calibrer réellement votre application. À partir de là, je suppose que vous pouvez utiliser le ColorSpacePoint pour déterminer où l'image est appliquée et la déboguer visuellement en utilisant le flux de couleur régulier.