2017-10-02 4 views
0

J'ai un grand nombre de fichiers zippés (nommés par horodatage), qui sont essentiellement des fichiers texte délimités lorsqu'ils sont décompressés. Je dois obtenir toutes ces données dans Cassandra (une décharge de temps).Données du fichier compressé vers Cassandra

Comme le nombre de fichiers zip est énorme, est-il possible que je peux rediriger le fichier extrait à Cassandra directement au lieu de le stocker à nouveau local avant le chargement de Cassandra? (J'utilise python pour cela)

+0

Vous auriez besoin d'un moyen de diffuser le contenu de le retour au texte délimité, à partir duquel Python analyserait et soumettrait une requête pour. Sinon, vous devez extraire le fichier entier –

Répondre

1

Si vos fichiers sont délimités par des virgules et correspondent au schéma de la table (ou peuvent être générés à l'aide de divers outils de ligne de commande), vous pouvez envisager d'acheminer la sortie unzip vers cqlsh --execute 'COPY ks.table FROM STDIN'