2017-02-15 1 views
-3

Le stockage objet Blu-ray aura-t-il une fonction de dossier dans un conteneur tel que amazon s3. Je ne suis pas sûr d'autres gens, mais bientôt l'écriture de DSX, il obtient un tel bordel dans un conteneur. C'est comme un ordinateur sans possibilité de créer des dossiers sous C: \ drive. C'est un désordre complet.écriture dsx dans le stockage d'objets bleus mix

Depuis le stockage principal de son DSX, DSX pousse pour cette capacité. Bluemix object storage no folder capability

est ici le conteneur s3 et comment magnifiquement vous pouvez organiser tout S3 conatiner

Répondre

1

je crois ce que vous cherchez est quelque chose comme et d'organiser les sous-fichiers.

Je pense que le service de stockage d'objets est basé sur OpenStack Object Storage et, selon Openstack doc, il n'est pas possible de créer des répertoires imbriqués.

https://docs.openstack.org/user-guide/cli-swift-pseudo-hierarchical-folders-directories.html

Vous pouvez utiliser le chemin dans le nom du fichier pour simuler les sous-répertoires par avec seperating/lors de l'écriture/lecture du fichier, vous pouvez utiliser quelque chose comme ça « rapide: // ContainerName. » + name + '/foldername/fillename.csv' Donc tout ce que vous écrivez avec /foldername/filename.csv sera organisé sous foldername.

Merci, Charles.

+0

Oui fait cela, et voir le désordre qu'il crée. Tout est sous la même racine. Je ne sais pas comment on peut gérer tout cela dans un seul conteneur si vous avez plus de 50 cahiers d'écriture, etc. Comme mon image montre que c'est une énorme limite pour dsx et cette capacité devrait être ajoutée à open-stack si manquant. Actuellement, je déplace toutes mes écritures vers s3 car la structure des dossiers est facile à gérer. –

+0

D'accord sur la limitation et le problème, une des choses que vous pouvez contourner à l'instant et limiter le nombre de fichiers qu'il crée en repartitionnant votre dataframe ou rdd à 1 en utilisant df.repartition (1) avant de l'écrire dans Object storage d'écrire de nombreux fichiers patités. Il créera au moins 2-3 fichiers, si vous allez même plus loin, vous pouvez écrire en codec compressé. Remarque: - Vous ne pouvez pas les lire en parallèle puisque vous écrivez tout dans une partition. –

+0

Merci Charles pour les suggestions. À part cette question, je tiens vraiment à vous remercier pour toutes les réponses que vous faites dès que possible et la volonté d'aider. MERCI BEAUCOUP! –