Structure à partir d'un mouvement avec flux optique

Question

Supposons que je possède une vidéo provenant d'un graveur de disque. Je veux construire le nuage de points de la scène enregistrée en utilisant la structure de la technique de mouvement. D'abord j'ai besoin de suivre certains points.

Quel algorithme peut donner un meilleur résultat? En utilisant le flux optique clairsemé (tracker Kanade-Lucas-Tomasi) ou le flux optique dense (Farneback)? J'ai expérimenté un peu mais je ne peux pas vraiment décider. Chacun d'entre eux a ses propres forces et faiblesses.

L'objectif final est d'obtenir le nuage de points des voitures enregistrées dans la scène. En utilisant le flux optique clairsemé, je peux suivre les points intéressants des voitures. Mais ce serait assez imprévisible. Une solution consiste à créer une sorte de grille dans l'image et à forcer le traqueur à suivre un point intéressant dans chaque grille. Mais je pense que ce serait assez dur. En utilisant le flux dense, je peux obtenir le mouvement de chaque pixel, mais le problème est, il ne peut pas vraiment détecter le mouvement des voitures qui ont seulement peu de mouvement. En outre, je doute que le flux de chaque pixel produit par l'algorithme serait aussi précis. De plus, avec cela, je crois que je ne peux obtenir le mouvement de pixels entre les deux cadres seulement (à la différence en utilisant le flux optique clairsemé dans lequel je peux obtenir plusieurs coordonnées du même point intéressant le long du temps t)

Answer 1

Votre titre indique SFM qui comprend estimation de pose,

suivi est seulement la première étape (correspondant), si vous voulez un nuage de points de la vidéo (très difficile tâche) première chose que je penserais, est l'ajustement bundle qui fonctionne aussi pour MVE Néanmoins, pour la vidéo, nous pouvons en faire plus, e trop près les uns des autres, on peut utiliser l'algorithme rapide comme (flux optique),/que correspondant SIFT/et extraire matrice F de celle-ci, alors:

E = 1/K * F * K

et QR vous pouvez trouver R, T,

vous devez également initialiser la première image à la matrice unitaire pour R et des zéros pour T

comment vous pourriez mettre en œuvre tout cela, je recommande d'utiliser OpenCV ou autre bibliothèque,

Retour à votre question initiale, ce qui est mieux:

1) Dense flux optique ou

2) clairsemée.

apparemment vous travaillez hors ligne, donc pas d'importance de la vitesse, mais je recommanderais le peu, car il rendra le travail plus facile d'estimer la pose plus tard, (moins de point ==> plus de précision) et depuis les coins est ce qui compte pour reconstruire/pas chaque pixel dans l'image /, vous pouvez changer ses paramètres à ce qui vous convient, et vous pouvez initialiser (goodFeaturesToTrack) chaque nombre de cadres que vous voulez.

qui est dit, je voudrais voir votre travail si vous pouvez partager le code et la vidéo avec nous,/il est correspondant en fait mon champ de travail actuel en ce moment/

P. S:

Je vais continuer à éditer cette réponse car je fais plus de progrès moi-même. :)