Synchronisation de screencasting (ffmpeg) et capture à partir de la webcam (OpenCV)

Question

À partir de mes questions précédentes, j'essaie de créer un simple eye tracker. Décidé de démarrer à partir d'une version Linux (exécutez Ubuntu). Pour compléter cette tâche, il faut organiser le screencasting et la capture de la webcam de manière à ce que les images des deux flux coïncident exactement et qu'il y ait le même nombre d'images dans chacune d'entre elles. Screencasting fps dépend entièrement de la fps de l'appareil photo, de sorte que chaque fois que nous obtenons l'image de la webcam, nous pouvons potentiellement saisir un cadre d'écran et rester heureux. Cependant, tous les outils pour le screencasting rapide, comme ffmpeg, par exemple, renvoient le fichier .avi comme résultat et nécessitent le démarrage des fps déjà connus. De l'autre côté, des outils comme Java + Robot ou ImageMagick semblent nécessiter environ 20ms pour renvoyer la capture d'écran .jpg, ce qui est assez lent pour la tâche. Mais ils peuvent être demandés juste après chaque fois que le cadre de la webcam est saisi et fournir la synchronisation nécessaire.

Ainsi, les sous-questions sont:

1. Est-ce que la fréquence d'images de la caméra USD varient au cours d'une seule session?
2. Existe-t-il des outils permettant de réaliser rapidement des images par image?
3. Est-il possible de faire en sorte que ffmpeg envoie une nouvelle image au fichier .avi uniquement lorsque le programme lance cette requête?

Pour ma tâche, je peux utiliser C++ ou Java. Je suis, en fait, un concepteur d'interface, pas le programmeur de pilote, et cette tâche semble être de bas niveau. Je serais reconnaissant pour toute suggestion et pourboire!

Answer 1

Utilisez la fonction cvGetCaptureProperty(CvCapture* capture, int property_id) de HighGUI d'OpenCV avec property_id = CV_CAP_PROP_FPS pour déterminer les images par seconde capturées par votre webcam.

Exemple d'utilisation:

CvCapture *capture = 0; 
double fps = 0.0; 

capture = cvCaptureFromCAM(0); 
fps = cvCaptureProperty(capture, CV_CAP_PROP_FPS);