Calculer un nouveau point PixelCoordinates avec R et t

Question

Je sais que pour une reconstruction 3D, vous pouvez obtenir tout sauf le facteur d'échelle de deux images.

Mais pouvez-vous calculer où un point des premières images se trouve dans les secondes images. Le facteur d'échelle ne devrait pas être intéressant ici ?!

sensorCheckPoint.x = (pixelCheckPoint.x - principlePoint.x)/focal; 
sensorCheckPoint.y = (pixelCheckPoint.y - principlePoint.y)/focal; 
sensorCheckPoint.z = 1; 

sesorCheckPointNew = R * sensorCheckPoint + t; 

J'ai obtenu R et t en décomposant le tapis essentiel avec recoverPose(); Mais le nouveau point n'est même pas assis dans l'image.

Quelqu'un pourrait-il me dire si je me trompe? Merci

EDIT

Je ne sais coordonne le pixel du CHECKPOINT pas le vrai coordonnées 3D

EDIT2

Si vous connaissez R et T, mais pas la longueur de t. Il devrait être possible de supposer z1 pour un point M connu dans les deux images, puis obtenir le t résultant. Droite? Ensuite, il devrait être possible de recalculer pour chaque point de la première image où il se trouve dans la seconde. Z2 est alors en correspondance avec t. Mais quelle est alors la dépendance entre z2 et t?

EDIT3

Si je suppose que z = 1 pour M1. Et je calcule R et t à partir des deux images. Alors je sais tout ce qu'est le vert. Par conséquent, j'ai besoin de résoudre ces équations linéaires pour obtenir s et obtenir le vrai t. J'utilise les deux premières lignes deux résoudre les deux variables. Mais le résultat ne semble pas écrire.

L'équation est-elle incorrecte?

Answer 1

Je pense que vous êtes proche de votre compréhension de la géométrie.

Je ne me soucie pas du vrai système 3D. Cela doit seulement être relativement correct. Alors que je peux recalculer la position de n'importe quel point de la première image à la deuxième image?

La position dans la deuxième image dépend de la position 3D réelle du point dans la première image. Donc, vous devez vraiment matérialiser le pixel dans un point 3D réel pour faire ce que vous voulez. Sans informations de profondeur, le pixel de l'image 1 peut se trouver n'importe où sur une ligne de l'image 2.

Vous calculez sensorCheckPoint les coordonnées homogènes. Dans ce cas, il peut être intéressant de voir ces coordonnées comme des coordonnées 3D réelles dans le système de la caméra (en z = 1). Imaginez-vous devant cette caméra, en regardant Z. Considérez le rayon qui va du centre de la caméra à ce point. Puisque vous connaissez R et t, vous pouvez aussi exprimer ce rayon dans l'espace du monde (avec un peu de gymnastique mentale pour trouver la bonne transformation). Ce rayon n'est qu'un vecteur en 3D. Vous pouvez le normaliser et le multiplier par un facteur pour trouver vous-même des points 3D n'importe où le long de ce rayon à une distance connue du centre de la caméra. Une fois que vous avez un point 3D réel dans l'espace monde, vous pouvez utiliser projectPoints() pour le projeter sur le plan image de l'autre caméra.

Answer 2

Et ce qui vous fait penser qu'un point z = 1 doit nécessairement être visible dans les deux caméras?