Comment gérer des données volumineuses en Java?

Question

Mon application doit utiliser des données dans un fichier texte d'une taille maximale de 5 Go. Je ne peux pas charger toutes ces données dans la mémoire vive car il est beaucoup trop grand.

Les données sont stockées comme une table, 5 millions d'enregistrements (lignes) et 40 colonnes contenant chacune du texte qui sera converti en mémoire en chaîne, en ints ou en double.

J'ai essayé de mettre en cache seulement 10 - 100 Mo de données en mémoire et de recharger à partir du fichier quand j'ai besoin de données à l'extérieur mais c'est beaucoup trop lent! Quand je cours des calculs parce que je peux sauter au hasard de n'importe quelle rangée dans la table il devrait constamment ouvrir le dossier, lire et fermer.

J'ai besoin de quelque chose rapidement, je pensais utiliser une sorte de DB. Je sais que les calculs avec de grandes données comme celle-ci peuvent prendre un certain temps, ce qui est bien. Si j'utilise une base de données, elle doit être configurée au lancement de l'application de bureau et ne nécessite pas l'installation préalable d'un composant de serveur.

Des conseils? Merci

Answer 1

Je pense que vous avez besoin de clarifier certaines choses:

• C'est une application de bureau (je suppose que oui), quelle est la limite de mémoire pour elle?
• Utilisez-vous votre fichier en mode lecture seule?
• Quel genre de calculs essayez-vous de faire? (La fréquence des lignes sont accessibles au hasard, comment lisent souvent des lignes conséquentes, avez-vous besoin de modifier les données)

Actuellement, je vois deux façons pour une enquête plus approfondie:

• Utilisez SQLite. C'est une petite base de données à un seul fichier, orientée principalement pour les applications de bureau et l'utilisation mono-utilisateur. Il ne nécessite aucun serveur, tout ce dont vous avez besoin est d'avoir une bibliothèque jdbc appropriée.
• Créer une sorte d'index, en utilisant, par exemple, l'arbre binaire. La première fois que vous lisez votre fichier, indexez la position de début des lignes dans le fichier. En conjonction avec ouvert en permanence random access file cela vous aidera à rechercher et à lire la rangée rapidement désirée. Pour l'arbre binaire, votre index peut être d'environ 120M. (c'est RowsCount * 2 * IndexValueSize pour l'arbre binaire)

Answer 2

Vous pouvez utiliser une base de données intégrée, vous pouvez trouver une comparaison ici: Java Embedded Databases Comparison. Ou, en fonction de votre cas d'utilisation, vous pouvez même essayer d'utiliser Lucene qui est un moteur de recherche en texte intégral.