comment analyser de grands ensembles de données en utilisant RDFLib?

Question

J'essaye d'analyser plusieurs gros graphiques avec RDFLib 3.0, apparemment il gère le premier et meurt sur le second (MemoryError) ... on dirait que MySQL n'est plus supporté en magasin, pouvez-vous suggérer un moyen d'analyser en quelque sorte ceux?

Traceback (most recent call last): 
    File "names.py", line 152, in <module> 
    main() 
    File "names.py", line 91, in main 
    locals()[graphname].parse(filename, format="nt") 
    File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/graph.py", line 938, in parse 
    location=location, file=file, data=data, **args) 
    File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/graph.py", line 757, in parse 
    parser.parse(source, self, **args) 
    File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/plugins/parsers/nt.py", line 24, in parse 
    parser.parse(f) 
    File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/plugins/parsers/ntriples.py", line 124, in parse 
    self.line = self.readline() 
    File "/usr/local/lib/python2.6/dist-packages/rdflib-3.0.0-py2.6.egg/rdflib/plugins/parsers/ntriples.py", line 151, in readline 
    m = r_line.match(self.buffer) 
MemoryError 

Answer 1

Combien de triplets sur ces fichiers RDF? J'ai testé rdflib et il ne sera pas beaucoup plus loin que quelques dizaines de ktriples - si vous êtes chanceux. Pas moyen que cela fonctionne vraiment bien pour les fichiers avec des millions de triplets. Le meilleur analyseur est rapper de Redland Libraries Mon premier conseil est de ne pas utiliser RDF/XML et aller pour ntriples. Ntriples est un format plus léger que RDF/XML. Vous pouvez transformer de RDF/XML à ntriples en utilisant rapper:

rapper -i rdfxml -o ntriples YOUR_FILE.rdf > YOUR_FILE.ntriples

Si vous aimez Python vous pouvez utiliser les Redland python bindings:

import RDF 
parser=RDF.Parser(name="ntriples") 
model=RDF.Model() 
stream=parser.parse_into_model(model,"file://file_path", 
             "http://your_base_uri.org") 
for triple in model: 
    print triple.subject, triple.predicate, triple.object 

J'analysables des fichiers assez gros (couple de gigabyes) avec bibliothèques Redland sans problème. Par la suite, si vous manipulez de grands ensembles de données, vous devrez peut-être faire valoir vos données dans un triple magasin évolutif, celui que j'utilise habituellement est 4store. 4store utilise en interne redland pour analyser les fichiers RDF. À long terme, je pense que ce que vous aurez à faire, c'est un triple magasin évolutif. Et avec lui, vous serez en mesure d'utiliser SPARQL pour interroger vos données et SPARQL/Update pour insérer et supprimer des triplets.