2015-03-03 2 views
0

J'essaye de pousser les données à AWS S3. J'ai eu l'utilisateur l'exemple (http://druid.io/docs/0.7.0/Tutorial:-The-Druid-Cluster.html), mais a modifié le common.runtime.properties comme ci-dessousDruid ne stockant pas à AWS S3

druid.storage.type=s3 
druid.s3.accessKey=AKIAJWTETHZDEQLHQ7AQ 
druid.s3.secretKey=tcTtvGXcqLmmMbo2hRunzlSA1P2X0O0bjVf537Nt 
druid.storage.bucket=testfeed 
druid.storage.baseKey=sample 

est Ci-dessous les journaux pour le noeud en temps réel

2015-03-02T15: 03: 44809 INFO [ principal] io.druid.guice.JsonConfigurator - Classe chargée [classe io.druid.query.QueryConfig] à partir de props [druid.query.] as [[email protected]] 2015-03-02T15 : 03: 44,843 INFO [principal] io.druid.guice.JsonConfigurator - Classe chargée [classe io.druid.query.search.search.SearchQueryConfig] à partir des accessoires [druid.query.search.] As [[email protected]] 2015-03-02T15: 03: 44,861 INFO [principal] io.druid.guice.JsonConfigurator - classe Loaded [classe io.druid.query.groupby.GroupByQueryConfig] de accessoires [druid.query.groupBy.] comme [[email protected]] 2015-03-02T15: 03: 44874 INFO [principale] org.skife.config.ConfigurationObjectFactory - valeur Attribution [100000000] pour [druid.processing.buffer.sizeBytes] sur [ io.druid.query.DruidProcessingConfig # intermediateComputeSizeBytes()] 2015-03- 02T15: 03: 44,878 INFO [principal] org.skife.config.ConfigurationObjectFactory - Affectation valeur [2] pour [druid.processing.numThreads] sur [ io.druid.query.DruidProcessingConfig # getNumThreads()] 2015-03-02T15: 03: 44878 INFO [principale] org.skife.config.ConfigurationObjectFactory - méthode par lui-même pour [$ {} base_path .columnCache.sizeBytes] sur [io.druid.query.DruidProcessingConfig # columnCacheSizeBytes()] 2015-03-02T15: 03: 44880 INFO [principale] org.skife. config.ConfigurationObjectFactory - Affectation de la valeur par défaut [processing-% s] pour [$ {base_path} .formatString] sur [com.metamx.concurrent.ExecutorServiceConfig # getFormatString()] 2015-03-02T15: 03: 44,956 INFO [principal] io.druid.guice.JsonConfigurator - Loaded c lass [classe io.druid.query.topn.TopNQueryConfig] de accessoires [druid.query.topN.] comme [[email protected]] 2015-03-02T15: 03: 44960 INFO [principale] io.druid.guice.JsonConfigurator - [. druid.storage] classe Loaded [classe io.druid.segment.loading.LocalDataSegmentPusherConfig] de des accessoires comme [[email protected] ] 2015-03-02T15: 03: 44,967 INFO [principal] io.druid.guice.JsonConfigurator - Classe chargée [classe io.druid.client.DruidServerConfig] à partir de props [druid.server.] As [io. [email protected]] 2015-03-02T15: 03: 44,971 INFO [principal] io.druid.guice.Jso nConfigurator - classe Loaded [classe io.druid.server.initialization.BatchDataSegmentAnnouncerConfig] de accessoires [druid.announcer.] comme [[email protected]ff2a544] 2015-03-02T15: 03 : 44,984 INFO [principal] io.druid.guice.JsonConfigurator - Classe chargée [classe io.druid.server.initialization.ZkPathsConfig] à partir de props [druid.zk.paths.] As [io.druid.server.initialization .ZkPathsConfig @ 58d3f4be] 2015-03-02T15: 03: 44,990 INFO [principal] io.druid.guice.JsonConfigurator - Classe chargée [classe io.druid.curator.CuratorConfig] de accessoires [druid.zk.service.] comme [[email protected]]

Répondre

0

Je suis la question. J'avais manqué l'extension s3 dans common.runtime.properties. Une fois que cela a été ajouté, les données ont commencé à être poussées vers s3.

+0

Pouvez-vous poster un extrait illustrant à quoi cela ressemble? – user766353

+0

En fait, je n'ai pas implémenté de code. Suivait l'exemple mentionné ci-dessus. – user2611300

+0

@ user766353 Voici la ligne pour ajouter l'extension s3: 'druid.extensions.coordinates = [" io.druid.extensions: druid-s3-extensions: 0.6.173 "]' Je cours druid version 0.6.173, make Assurez-vous de changer cela à votre version. –