vitesse avec l'utilisation d'expressions rationnelles

-4

Tâche: il y a un volume de fichiers texte de l'ordre de 30K par jour. Comment trouver la vitesse du programme extrayant des entités en utilisant des expressions régulières (leur nombre est d'environ 20)?vitesse avec l'utilisation d'expressions rationnelles

Le programme est prévu sur Python. Mais le système d'exploitation et le matériel seront déterminés en fonction des performances optimales d'un tel programme. A ce stade, nous avons besoin d'informations sur la configuration minimale possible pour extraire les données "à la volée" et les chiffres approximatifs pour la vitesse avec cette configuration -

Source

2017-09-29 Inga Velkova

https://stackoverflow.com/help/how-to-ask –

Nous aurons besoin de beaucoup plus d'informations pour vous aider. Quelle langue, qu'avez-vous essayé, quel système d'exploitation, quel est le matériel comme ... – sniperd

Le programme est prévu sur Python. Mais le système d'exploitation et le matériel seront déterminés en fonction des performances optimales d'un tel programme. A ce stade, nous avons besoin d'informations sur la configuration minimale possible pour l'extraction des données "à la volée" et les chiffres approximatifs pour la vitesse avec cette configuration –

Si j'étais vous, je rédigerais votre regex en python, 30k fichiers de test (même fichier copié 30k fois?), Voir combien de temps il faut pour traiter. Et puis utilisez cProfile en python pour profiler le code pour 1 fichier pour voir où vous pouvez l'accélérer.

Source

2017-09-29 17:47:09 sniperd

Merci pour le conseil! 30k fichiers différents –

vitesse avec l'utilisation d'expressions rationnelles

Répondre

Questions connexes