Aws Athena - Créer une table externe en sautant la première ligne

Question

J'essaie de créer une table externe sur des fichiers csv avec Aws Athena avec le code ci-dessous mais la ligne TBLPROPERTIES ("skip.header.line.count"="1") ne fonctionne pas: elle ne saute pas la première ligne (en-tête) du fichier csv.

CREATE EXTERNAL TABLE mytable 
(
    colA string, 
    colB int 
) 

ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES (
    'separatorChar' = ',', 
    'quoteChar' = '\"', 
    'escapeChar' = '\\' 
    ) 
STORED AS TEXTFILE 
LOCATION 's3://mybucket/mylocation/' 
TBLPROPERTIES (
    "skip.header.line.count"="1") 

Un conseil?

Answer 1

Cette fonctionnalité n'a pas encore été implémentée. Voir Abhishek @ réponse AWS here: «Nous y travaillons et fera rapport dès que nous avons un résultat Désolé pour ce nouveau Cela a fini par prendre plus de temps que ce que prévu. ».

Ma solution a été de prétraiter les données avant de créer la table:

1. télécharger le fichier csv de bande S3
2. la tête à l'aide bash sed -e 1d -e 's/\"//g' file.csv > file-2.csv
3. télécharger les résultats à son propre dossier sur S3
4. créer le tableau

Answer 2

Juste essayé le "skip.header.line.count"="1" et semble fonctionner correctement maintenant.