Erreur dans l'estimation de la position du marqueur à l'aide d'une seule caméra

Question

J'utilise le code OpenCV suivant pour estimer la pose d'un marqueur carré et dessiner les 3 axis du marqueur sur l'image. Mais l'axe Z du marqueur tourne de 180 degrés de temps en temps comme le montre l'image ci-dessous. Comment rendre l'axe z stable?

// Marker world coordinates 
vector<Point3f> objecPoints; 
objecPoints.push_back(Point3f(0, 0, 0)); 
objecPoints.push_back(Point3f(0, 2.4, 0)); 
objecPoints.push_back(Point3f(2.4, 2.4, 0)); 
objecPoints.push_back(Point3f(2.4, 0.0, 0)); 

// 2D image coordinates of 4 marker corners. They are arranged in the same order for each frame 
vector<Point2f> marker2DPoints; 

// Calculate Rotation and Translation 
cv::Mat Rvec; 
cv::Mat_<float> Tvec; 
cv::Mat raux, taux; 
cv::solvePnP(objecPoints, marker2DPoints, camMatrix, distCoeff, raux, taux); 

// Draw marker pose on the image 
vector<Point3f> axisPoints3D; 
axisPoints3D.push_back(Point3f(0, 0, 0)); 
axisPoints3D.push_back(Point3f(2.4, 0, 0)); 
axisPoints3D.push_back(Point3f(0, 2.4, 0)); 
axisPoints3D.push_back(Point3f(0, 0, 2.4)); 

vector<Point2f> axisPoints2D; 

// Take the camMatrix and distCoeff from camera calibration results 
projectPoints(axisPoints3D, Rvec, Tvec, camMatrix, distCoeff, axisPoints2D); 

line(srcImg, axisPoints2D[0], axisPoints2D[1], CV_RGB(0, 0, 255), 1, CV_AA); 
line(srcImg, axisPoints2D[0], axisPoints2D[2], CV_RGB(0, 255, 0), 1, CV_AA); 
line(srcImg, axisPoints2D[0], axisPoints2D[3], CV_RGB(255, 0, 0), 1, CV_AA); 

Answer 1

Ce serait probablement mieux comme commentaire, mais je ne l'ai pas assez réputation pour cela. Je pense que cela peut se produire en raison de l'ordre dans lequel solvePnP obtient les coordonnées de votre tag. En outre, puisque solvePnP essaie juste de faire correspondre (dans ce cas) 4 points sur un plan 3D à 4 points 2D dans une image, il existe plusieurs solutions pour cela. L'étiquette pourrait être tournée autour de son axe haut, et retournée à l'envers. solvePnP ne sait pas à partir des points fournis qui est la direction vers le haut. J'ai l'intuition que solvePnP est un peu trop général pour ce problème car un algorithme stable de détection d'étiquette devrait être capable d'alimenter les coins au code d'estimation de pose dans un ordre stable.

Éditer: l'ordre des coins est important et la solution donnée par solvePnP en dépend. Peut-être que l'algorithme générant vos points d'angle ne fournit pas les coins dans un ordre cohérent? S'il vous plaît partager la sortie de tags.points