Comment télécharger un fichier dans le répertoire dans le compartiment S3 en utilisant le boto

Question

Je veux copier un fichier dans le seau s3 en utilisant python.

Ex: J'ai un nom de compartiment = test. Et dans le seau, j'ai 2 dossiers nom "dump" & "entrée". Maintenant, je veux copier un fichier du répertoire local à S3 "dump" dossier en utilisant python ... Quelqu'un peut-il m'aider?

Answer 1

Try this ...

import boto 
import boto.s3 
import sys 
from boto.s3.key import Key 

AWS_ACCESS_KEY_ID = '' 
AWS_SECRET_ACCESS_KEY = '' 

bucket_name = AWS_ACCESS_KEY_ID.lower() + '-dump' 
conn = boto.connect_s3(AWS_ACCESS_KEY_ID, 
     AWS_SECRET_ACCESS_KEY) 


bucket = conn.create_bucket(bucket_name, 
    location=boto.s3.connection.Location.DEFAULT) 

testfile = "replace this with an actual filename" 
print 'Uploading %s to Amazon S3 bucket %s' % \ 
    (testfile, bucket_name) 

def percent_cb(complete, total): 
    sys.stdout.write('.') 
    sys.stdout.flush() 


k = Key(bucket) 
k.key = 'my test file' 
k.set_contents_from_filename(testfile, 
    cb=percent_cb, num_cb=10) 

[UPDATE] Je ne suis pas pythonist, donc merci pour le heads up sur les déclarations d'importation. En outre, je ne recommande pas de placer des informations d'identification dans votre propre code source. Si vous utilisez cet intérieur AWS Identifiants IAM avec des profils d'instance (http://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_use_switch-role-ec2_instance-profiles.html), et de garder le même comportement dans votre environnement Dev/Test, utilisez quelque chose comme Hologramme de AdRoll (https://github.com/AdRoll/hologram)

Answer 2

J'utilisé cela et il est très simple à mettre en œuvre

import tinys3 

conn = tinys3.Connection('S3_ACCESS_KEY','S3_SECRET_KEY',tls=True) 

f = open('some_file.zip','rb') 
conn.upload('some_file.zip',f,'my_bucket') 

https://www.smore.com/labs/tinys3/

Answer 3

Pas besoin de le faire si compliqué que ça:

s3_connection = boto.connect_s3() 
bucket = s3_connection.get_bucket('your bucket name') 
key = boto.s3.key.Key(bucket, 'some_file.zip') 
with open('some_file.zip') as f: 
    key.send_file(f) 

Answer 4

from boto3.s3.transfer import S3Transfer 
import boto3 
#have all the variables populated which are required below 
client = boto3.client('s3', aws_access_key_id=access_key,aws_secret_access_key=secret_key) 
transfer = S3Transfer(client) 
transfer.upload_file(filepath, bucket_name, folder_name+"/"+filename) 

Answer 5

Cela permettra également de travailler:

import os 
import boto 
import boto.s3.connection 
from boto.s3.key import Key 

try: 

    conn = boto.s3.connect_to_region('us-east-1', 
    aws_access_key_id = 'AWS-Access-Key', 
    aws_secret_access_key = 'AWS-Secrete-Key', 
    # host = 's3-website-us-east-1.amazonaws.com', 
    # is_secure=True,    # uncomment if you are not using ssl 
    calling_format = boto.s3.connection.OrdinaryCallingFormat(), 
    ) 

    bucket = conn.get_bucket('YourBucketName') 
    key_name = 'FileToUpload' 
    path = 'images/holiday' #Directory Under which file should get upload 
    full_key_name = os.path.join(path, key_name) 
    k = bucket.new_key(full_key_name) 
    k.set_contents_from_filename(key_name) 

except Exception,e: 
    print str(e) 
    print "error" 

Answer 6

import boto 
from boto.s3.key import Key 

AWS_ACCESS_KEY_ID = '' 
AWS_SECRET_ACCESS_KEY = '' 
END_POINT = ''       # eg. us-east-1 
S3_HOST = ''       # eg. s3.us-east-1.amazonaws.com 
BUCKET_NAME = 'test'   
FILENAME = 'upload.txt'     
UPLOADED_FILENAME = 'dumps/upload.txt' 
# include folders in file path. If it doesn't exist, it will be created 

s3 = boto.s3.connect_to_region(END_POINT, 
          aws_access_key_id=AWS_ACCESS_KEY_ID, 
          aws_secret_access_key=AWS_SECRET_ACCESS_KEY, 
          host=S3_HOST) 

bucket = s3.get_bucket(BUCKET_NAME) 
k = Key(bucket) 
k.key = UPLOADED_FILENAME 
k.set_contents_from_filename(FILENAME) 

Answer 7

import boto3 

s3 = boto3.resource('s3') 
BUCKET = "test" 

s3.Bucket(BUCKET).upload_file("your/local/file", "dump/file")