Hadoop gzip fichiers compressés

Question

Je suis nouveau à hadoop et essaie de traiter wikipedia dump. C'est un fichier xml compressé gzip de 6,7 Go. J'ai lu que hadoop supporte les fichiers compressés gzip mais ne peut être traité que par mapper sur un seul travail car un seul mappeur peut le décompresser. Cela semble mettre une limite au traitement. Y a-t-il une alternative? comme décompresser et diviser le fichier xml en plusieurs morceaux et les recompresser avec gzip.

Je lis sur le gzip Hadoop de http://researchcomputing.blogspot.com/2008/04/hadoop-and-compressed-files.html

Merci pour votre aide.

Answer 1

Les fichiers GZIP ne peuvent être partitionnés en raison d'une limitation du codec. 6.7GB n'est vraiment pas énorme, il suffit de le décompresser sur une seule machine (cela prendra moins d'une heure) et de copier le XML vers HDFS. Ensuite, vous pouvez traiter le XML Wikipedia dans Hadoop.

Cloud9 contient une classe WikipediaPageInputFormat que vous pouvez utiliser pour lire le code XML dans Hadoop.

Answer 2

Un fichier compressé avec le codec GZIP ne peut pas être divisé en raison du fonctionnement de ce codec. Un seul SPLIT dans Hadoop ne peut être traité que par un seul mappeur; un seul fichier GZIP ne peut donc être traité que par un seul mappeur.

Il y a atleast trois façons de contourner cette limitation:

1. Comme une étape de pré-traitement: Décompressez le fichier et recompresser en utilisant un codec sécable (LZO)
2. Comme une étape de pré-traitement: Décompressez le fichier, diviser en plus petits ensembles et recompresser. (See this)
3. Utilisez ce patch pour Hadoop (que j'ai écrit) qui permet un moyen de contourner ceci: Splittable Gzip

HTH

Answer 3

C'est l'une des plus grandes compréhension miss dans HDFS.

Les fichiers compressés en tant que fichier gzip ne peuvent pas être partagés par MapReduce, mais cela ne signifie pas que GZip en tant que codec n'a aucune valeur dans HDFS et ne peut pas être divisé. GZip en tant que codec peut être utilisé avec les fichiers RCFiles, les fichiers de séquence, les fichiers Arvo et bien d'autres formats de fichiers. Lorsque le codec Gzip est utilisé dans ces formats divisibles, vous obtenez une excellente compression et une très bonne vitesse de Gzip plus le composant séparable.

Answer 4

Pourquoi ne pas ungzip et utiliser à la place compression LZ divisible? M

http://blog.cloudera.com/blog/2009/11/hadoop-at-twitter-part-1-splittable-lzo-compression/