2013-07-17 2 views
1

Je télécharge des données à partir de fichiers .csv dans un cluster Cassandra déployé dans Amazon EC2 en utilisant la commande COPY du volume EBS qui y est attaché. J'ai remarqué que le temps de téléchargement de Cassandra augmente très mal, avec l'augmentation de la taille du fichier .csv.augmenter l'efficacité de téléchargement pour cassandra

Existe-t-il un moyen de régler les paramètres pour augmenter le taux de charge de cassandra ..?

Répondre

2

Utilisez un real bulk loader. COPY n'est pas approprié pour des millions d'enregistrements.

+0

Je divise mon fichier volumineux en fichiers contenant chacun 2 millions d'enregistrements. J'essaye de les télécharger simultanément de 2 noeuds de Cassandra. Bien que pas très efficace, prévoyez-vous d'autres problèmes dans cette approche ..? J'étais confronté à des problèmes avec SSTableLoader que je télécharge à partir d'une exportation .csv de la base de données mysql. J'ai donc eu recours à COPY car c'était moins complexe. – eldho

Questions connexes