J'ai des données sur aws-s3 (au format csv) et je veux charger ces données dans un graphique dse en utilisant Graph Loader. J'ai la recherche mais rien trouvé sur ce sujet. est-il possible d'utiliser dse graph Loader?Charger les données CSV de aws-s3 dans dse Chargeur graphique
0
A
Répondre
0
Voilà comment la cartographie recherche le chargeur graphique lors de la lecture des années csv:
https://docs.datastax.com/en/latest-dse/datastax_enterprise/graph/dgl/dglCSV.html
Voici un exemple HDFS (également avec les fichiers csv), S3 devrait être similaire (juste échanger le dfs_url:
// Configures the data loader to create the schema
config create_schema: true, load_new: true, preparation: true
// Define the data input sources
// dfs_uri specifies the URI to the HDFS directory in which the files are stored.
dfs_uri = 'hdfs://host:port/path/'
authorInput = File.csv(dfs_uri + 'author.csv.gz').gzip().delimiter('|')
//Specifies what data source to load using which mapper (as defined inline)
load(authorInput).asVertices
{ label "author" key "name" }
// graphloader call
./graphloader myMap.groovy -graph testHDFS -address localhost
// start gremlin console and check the data
bin/dse gremlin-console
:remote config reset g testHDFS.g
schema.config().option('graph.schema_mode').set('Development')
g.V().hasLabel('author')
Oui, la communauté de datastax a ajouté ce document lié à s3 https://docs.datastax.com/en/latest-dse/datastax_enterprise/graph/dgl/dglS3.html –