Je commence à travailler avec Hive. Je voulais savoir quelles requêtes doivent utiliser pour chaque format de table entre les formats: rcfile, orcfile, parquet, texte délimitéFormats de fichier Hive avantages et inconvénients
lorsque vous avez des tables avec très grand nombre de colonnes et vous avez tendance à utiliser des colonnes spécifiques fréquemment, RC le format de fichier serait un bon choix. Plutôt que de lire la totalité de la ligne de données, vous récupérerez simplement les colonnes requises, ce qui vous fera gagner du temps. Les données sont divisées en groupes de lignes, qui sont ensuite divisés en groupes de colonnes.
Le fichier texte délimité est le format de fichier général.
Pour le format de fichier ORC, consultez la documentation de ruche qui a une description détaillée: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC
stocke les données de format de fichier Parquet sous forme de colonne. par exemple: Col1 Col2 A 1 B 2 C 3
données normale est mémorisée en tant A1B2C3. En utilisant Parquet, les données sont stockées comme ABC123. Pour le format de fichier de parquet, lire https://blog.twitter.com/2013/dremel-made-simple-with-parquet
Je vois qu'il y a quelques réponses mais comme votre question ne demandait pas de formats de fichiers particuliers, les réponses s'adressaient à l'un ou l'autre format de fichier.
Il existe un grand nombre de formats de fichiers que vous pouvez utiliser dans Hive. Les mentions notables sont AVRO, Parquet. RCFile & ORC. Il y a quelques bons documents disponibles en ligne auxquels vous pouvez vous référer si vous voulez comparer les performances et l'utilisation de l'espace de ces formats de fichiers. Suit quelques liens utiles qui vous mèneront.
This link from MapR [They don't discuss Parquet though]
Les liens ci-dessus seront donnés vous aller. J'espère que cette réponse répondra à votre requête.
Merci!