Correspondance stéréo avec des images capturées par différentes caméras (FOV, point de vue différents) non alignées

Question

J'essaie d'obtenir la profondeur d'un objet dans la scène et je ne veux utiliser aucun autre capteur sauf pour les caméras (je peux utiliser deux caméras). Donc, je pense qu'il devrait y avoir un problème de «correspondance stéréo» et je prévois d'extraire la carte de disparité des images stéréo pour obtenir des informations de profondeur.

Mais le problème est, j'ai des contraintes telles que:

1. Deux caméras ne sont pas alignés. Toutes les positions (x, y, z) sont différentes.
2. Les champs de vision de deux caméras sont différents. L'un est plus large que l'autre.
3. Les points de vue de deux caméras sont différents.
4. Deux caméras ont une résolution différente.

Dans ce cas, est-il possible de faire une correspondance stéréo correcte? Si oui, comment cela est-il possible?

Je sais que pour l'adaptation stéréo, la géométrie épipolaire et la matrice fondamentale sont très importantes. Mais autant que je sache, la matrice fondamentale appartient toujours à une caméra. La relation entre deux matrices fondamentales de deux caméras pourrait-elle être la solution à ce problème?

Merci.

--------------------------------- EDIT ------------ -------------------------

Stereo image under different camera, resolution, viewpoint, FOV

Rectified image

Grâce calibrateur caméra stéréo de Matlab, je suis arrivé stereoParams et J'ai fait de la rectification en l'utilisant.

Mais l'image rectifiée est trop déformée pour obtenir une carte de disparité.

Je me demande si je vais bien ou pas.

Y a-t-il une suggestion? Je vous remercie.

Answer 1

Oui, c'est possible. Depuis votre réglage stéréo, vos caméras et le champ de vision sont différents, je pense que vous devez d'abord faire l'étalonnage de la caméra, après l'étalonnage, vous faites rectification sur vos images comme ci-dessous. Après cela, vous aurez un réglage stéréo régulier, avec une géométrie de caméra connue. Ensuite, vous pouvez extraire les disparités. Il ya un bon tutoriel ici: ROS Steroe Calibration