Stockage et récupération flexibles des données de capture de mouvement

Question

Je souhaite accéder de manière flexible aux données de capture de mouvements à partir du code C/C++. Nous avons actuellement un tas de fichiers séparés (format .c3d). Nous pouvons nous attendre à ce que l'ensemble complet de données dure plusieurs heures et qu'il y ait environ 50 marqueurs (4 flottants chacun) par trame, échantillonnés à 60 hz. Nous examinons donc probablement quelques gigaoctets de données. Je voudrais avoir une base de données qui peut contenir les données, ce qui lui permet d'être récupérées, augmentées et modifiées relativement rapidement. J'aime pouvoir appliquer des étiquettes aux données et récupérer des séquences de trames par étiquette, index de temps (par exemple, trame 400-2000, ou toutes les 30 trames) ou autres critères potentiels.

Une telle chose existe-t-elle déjà? Puis-je le faire avec SQLite par exemple? Est-ce que quelqu'un a une intuition pour quel genre de performance je pourrais obtenir?

Actuellement, je charge juste un fichier .c3d à la fois et le traite. Je n'ai pas encore commencé à appliquer des méta-données/étiquettes aux séquences. Je vais accéder aux séquences de visualisation, d'analyse statistique et de formation pour l'apprentissage automatique.

Answer 1

Si vous devez stocker plusieurs gigaoctets de données avec un schéma connu, vous pouvez consulter une base de données de fichiers binaires à plat. Parmi ceux disponibles, je recommanderais HDF5. Ce n'est pas une base de données relationnelle comme SQLite, mais fournit un support riche pour les données matricielles et matricielles avec d'excellentes performances. Il comprend également le support MPI, si jamais vous développez votre apprentissage de la machine sur un cluster.