2009-07-24 7 views
5

Nous évaluons les performances de HDF5 en ce qui concerne les ensembles de données en blocs. En particulier, nous essayons de comprendre s'il est possible de lire à travers différents morceaux contigus et comment la performance est influencée par le faire? E.g. nous avons un ensemble de données avec une taille de bloc de 10, un ensemble de données avec 100 valeurs et que nous voulons lire les valeurs 23 à 48. Y aura-t-il une grande perte de performance?DataSet HDF5 fragmenté et slabsize

Merci beaucoup!

Répondre

3

Je ne sais pas comment répondre spécifiquement à votre question, mais je vous suggère d'utiliser une taille de bloc de 1024 (ou toute puissance supérieure de deux). Je ne connais pas les internes de HDF5, mais d'après mes connaissances des systèmes de fichiers, et d'après un benchmark approximatif, 1024 était juste.

+0

Merci beaucoup pour votre réponse! J'ai déjà observé que la taille du morceau est un facteur de performance important. Comme vous l'avez mentionné, une taille de bloc> 1000 est un bon point de départ. Ce que j'essaie de comprendre, c'est comment la performance est influencée lors de la lecture de données contiguës provenant de différents morceaux. Mais j'ai peur que ce soit une question qui ne puisse être concrètement résolue. Nous devrons donc effectuer plusieurs benchmarks. – usac