Aplatissement du fichier JSON lors du transfert de S3 vers RedShift à l'aide d'AWS Pipeline

Question

J'ai un fichier json sur S3, je veux le transférer vers Redshift. Un hic est que le fichier contient des entrées dans un tel format:

{ 
    "user_id":1, 
    "metadata": 
      { 
       "connection_type":"WIFI", 
       "device_id":"1234" 
      } 
} 

Avant que je vais l'enregistrer sur Redshift Je veux aplatir le fichier à contenir des colonnes:

user_id | connection_type | device_id 

Comment puis-je faire cela en utilisant AWS Data Pipeline? Y at-il une activité qui peut transformer json à la forme souhaitée? Je ne pense pas que transformer sql supportera les champs json.

Answer 1

Vous n'avez pas besoin de l'aplatir. Vous pouvez le charger avec la commande copy après avoir défini un fichier de configuration jsonpaths pour extraire facilement les valeurs de colonnes de chaque objet json.

Avec votre structure que vous souhaitez créer un fichier dans S3 (s3://bucket/your_jsonpaths.json) comme ceci:

{ 
    "jsonpaths": [ 
     "$.user_id", 
     "$.metadata.connection_type", 
     "$.metadata.device_id" 
    ] 
} 

Ensuite, vous courrais quelque chose comme ça dans Redshift:

copy your_table 
from 's3://bucket/data_objects.json' 
credentials '<aws-auth-args>' 
json 's3://bucket/your_jsonpaths.json'; 

Si vous avez des problèmes voir ce qui se trouve dans le tableau stv_load_errors.

Consultez le Redshift copy command et examples.