auto-deviner rapidement des chaînes de date

Question

Pour un grand nombre de fichiers csv énormes (100M lignes +) de différentes sources, j'ai besoin d'un extrait rapide ou une bibliothèque pour auto-deviner le format de date et le convertir en temps décomposé ou unix -timbre. Une fois que vous avez réussi à deviner l'extrait doit être en mesure de vérifier la validité des occurrences suivantes du champ de date, car il est probable que le format de date change dans le fichier.

L'ensemble de tests des formats de date doit être variable, mais la compilation d'un arbre de décision optimal ou d'un nombre de formats de date donné est bonne. Je suis arrivé à la conclusion que rien de ce genre n'existe mais que je dois faire une «étude de marché» d'où ma question. Ma première tentative a été d'imiter getdate() pour 23 formats de date différents que j'ai observés jusqu'à présent, et de remplacer les parseurs de nombres par des versions optimisées tenant compte des caractéristiques spécifiques à la date (pas de '4' à '9'). dans les parties de la journée, pas de '3' à '9' dans les parties de la partie mois, etc.)

Quelqu'un at-il rencontré un problème similaire ou même produit un code du genre?

Answer 1

Après deux semaines de navigation excessive de googl^Wweb je suis arrivé à la conclusion que je dois écrire celui-ci moi-même. FTW, mon premier coup d'oeil: http://github.com/hroptatyr/glod

Answer 2

J'ai traité des données de capteur horodatées (structurellement CSV) dans plus de cinquante formats à partir de nombreuses sources avec un script Perl. Jamais contraint pour la fonctionnalité, et bien qu'il soit basé sur un script, il était raisonnablement rapide (> 10Klines/sec où la ligne était ~ 60-100chars) J'ai implémenté a) analyse les premières centaines de lignes, rembobine puis exécute .. .pour construire le contexte de la logique de décision. b) émettre des lignes erronées avec le numéro de ligne et le contexte ... donc à la fin de l'exécution pourrait éditer les lignes fautives, puis les mettre à réinsérer lors d'une prochaine exécution, afin qu'il puisse passer "patché" sans erreur, c'est-à-dire que chaque ligne aurait correspondu à un format. c) la différence de temps entre les lignes ... ne permet que l'augmentation de l'horodatage. d) aussi je pourrais reformater d'autres choses comme changer d'unité c'est-à-dire impériale à SI. Bien que depuis le camp C, le simple Perl ne soit pas trop étranger, mais le rende tellement plus facile Note Cette méthode pourrait traiter des problèmes comme 10/04/05 ie JJ/MM/AA ou MM/JJ/AA s'il y avait assez d'informations dans le fichier