java hashmap basé sur le disque

Question

Je travaille sur un robot d'indexation Web (s'il vous plaît ne pas en suggérer un existant, ce n'est pas une option). Je l'ai fonctionné comme prévu. Mon seul problème est que j'utilise actuellement une sorte de modèle serveur/client où le serveur fait l'analyse et traite les données, puis les place dans un emplacement central.

Cet emplacement est un objet créé à partir d'une classe que j'ai écrite. En interne, la classe maintient une hashmap définie comme HashMap<String, HashMap<String, String>>

je stocke des données dans la carte faisant l'URL la clé (je garde ces uniques) et la valeur de hasmap stocke les champs de données correspondant à cette URL tels que le titre, la valeur etc

Je sérialise occasionnellement les objets internes utilisés mais l'araignée est multi-threadée et dès que je dis que 5 threads rampent les exigences de mémoire augmentent exponentiellement. Jusqu'à présent, la performance a été excellente avec le hashmap, en explorant 15K urls en 2.r minutes avec environ 30 secondes de temps processeur, donc je n'ai pas vraiment besoin d'être pointé dans la direction d'une araignée existante comme la plupart des forums les utilisateurs ont suggéré. Quelqu'un peut-il suggérer une solution basée sur un disque rapide qui prendra probablement en charge la lecture simultanée &? La structure de données n'a pas à être le même, juste doit être en mesure de stocker des valeurs de balise meta liées ensemble, etc.

grâce à l'avance

Answer 1

Je suggère d'utiliser EhCache pour cela, même si ce que vous construisez ISN Pas vraiment un cache. EhCache vous permet de configurer l'instance de cache afin qu'elle déborde sur le stockage du disque, tout en conservant les éléments les plus récents en mémoire. Il peut également être configuré pour être persistant sur le disque, c'est-à-dire que les données sont vidées sur le disque à l'arrêt et relues en mémoire au démarrage. En plus de tout cela, c'est basé sur la valeur-clé, donc cela correspond déjà à votre modèle. Il prend en charge l'accès simultané, et puisque le stockage sur disque est géré comme un thread séparé, vous ne devriez pas avoir à vous soucier de la concurrence d'accès au disque. Alternativement, vous pouvez envisager une base de données intégrée appropriée telle que Hypersonic (ou de nombreux autres de style similaire), mais cela va probablement être plus de travail.

Answer 2

que sur l'utilisation de JPA dans votre classe, et persistance des données dans une base de données (qui peut être basé sur du texte comme sqlite) http://en.wikipedia.org/wiki/Java_Persistence_API

Answer 3

Il y a Tokyo Cabinet, qui est une mise en œuvre rapide d'une table de hachage sur disque.

Dans votre cas, je pense que la meilleure façon de stocker les valeurs dans une telle configuration serait préfixe les clés de métadonnées avec l'url:

[url]_[name] => [value] 
[url]_[name2] => [value2] 

Malheureusement, je ne suis pas sûr que vous pouvez énumérer les métadonnées pour une URL donnée, en utilisant cette solution.

Si vous souhaitez utiliser un magasin de données plus structuré, il existe également MongoDB et SQLite, que je recommanderais.

Answer 4

JDBM2 La bibliothèque fournit des cartes persistantes pour Java. C'est rapide et thread-safe.

MISE À JOUR: Evolved dans MapDB projet

Answer 5

Chronicle Map est une intégrable, les données Java hachage magasin, persistant des données sur le disque (à un seul fichier), qui vise à être un remplacement sans rendez-vous de ConcurrentHashMap (fournit la même interface ConcurrentMap). Chronicle Map est the fastest store among similar solutions et offre une excellente concomitance en lecture/écriture, évoluant presque linéairement vers le nombre de cœurs disponibles dans la machine.

Avis de non-responsabilité: Je suis le développeur de Chronicle Map.