Est-il possible de créer une table athena pour les sous-répertoires s3 seau?

Question

Nos compartiments s3 comportent généralement un certain nombre de sous-répertoires, de sorte que le chemin vers un compartiment ressemble à s3: groupe de fonctions de niveau supérieur/dossier plus spécifique/org-locataire-société-id/entityid/réelles-données

Nous examinons dans Athena pour pouvoir interroger contre les données sur ce niveau de données/réel, mais dans l'org-locataire-société-ID, de sorte qu'il devrait être passé comme une sorte de paramètre.

Ou est-ce que org-tenant-company-id serait une partition?

Est-il possible de créer une table athena qui interroge cette structure? Et quel serait l'emplacement s3 sur l'assistant de création de table? Je l'ai essayé avec s3: top-level-function-groupe/more-specific-folder/mais quand il a fonctionné, je pense qu'il a dit quelque chose comme '0 Kb data read'.

Answer 1

Vous pouvez créer une table partitionnée comme suit, où les clés de partition ne sont définies que dans la cloisonnée par la clause, pas dans la liste des champs de table:

CREATE EXTERNAL TABLE mydb.mytable (
    id int, 
    stuff string, 
    ... 
) 
PARTITIONED BY (
    orgtenantcompanyid string 
) 
LOCATION 's3://mybucket/top-level-function-group/more-specific-folder/'; 

Après avoir créé la table, vous pouvez alors charger partitions individuelles:

ALTER TABLE mydb.mytable ADD PARTITION (orgtenantcompanyid='org1') 
LOCATION 's3://mybucket/top-level-function-group/more-specific-folder/org1'; 

lignes de résultat contiendront les champs de partition comme orgtenantcompanyid.