Amazon lot - fichier d'entrée à partir de s3

Question

Je suis nouveau à AWS. J'essaie d'utiliser batch pour analyser un tas de fichiers. Si j'ai une image docker qui installe mon programme d'analyse, quelle est la manière recommandée d'utiliser E/S avec un travail par lots?

1. Existe-t-il un moyen d'accéder aux fichiers S3 avec des programmes génériques?

   /bin/cd-hit -i <s3bucket/input> -o <s3bucket/output.txt>

2. Ou gens utilisent amazon système de fichiers élastique, monter le volume dans la définition de l'emploi, puis accédez à des fichiers de cette façon?

Answer 1

1. Est-il possible d'accéder aux fichiers S3 avec des programmes génériques?

Oui il y a.

• http://s3tools.org/s3cmd
• http://docs.aws.amazon.com/cli/latest/reference/s3/index.html

2. Ou gens utilisent amazon système de fichiers élastique, monter le volume dans la définition de l'emploi, puis accédez à des fichiers de cette façon?

Cela aussi possible, même si elle est beaucoup mieux de penser à S3 comme un magasin de valeur clé et écrire un code multi-thread qui accède à S3 de cette façon.