Mise à jour d'un fichier hadoop HDFS

Je suis un débutant à Hadoop. J'ai lu que HDFS est principalement sur "l'écriture une fois, en lisant n'importe quand". J'ai un cas d'utilisation où je pourrais avoir à apporter des modifications aux fichiers stockés dans HDFS. J'ai recherché s'il y a des manières de faire ceci.Mise à jour d'un fichier hadoop HDFS

Ma question est de savoir s'il sera possible de charger le fichier HDFS dans HBase, de faire les modifications et de le sauvegarder dans HDFS, et de supprimer le fichier original. S'il vous plaît laissez-moi si cela est réalisable.

Source

2012-02-01 Srini Subramanian

Si vous avez besoin de mettre à jour des valeurs dans un fichier, vous utilisez beaucoup mieux HBase. Vous pouvez toujours utiliser votre table HBase dans vos travaux MR via TableInputFormat et TableOutputFormat. Si vous souhaitez ajouter des données, vous pouvez utiliser l'une des versions de hadoop qui prennent en charge hdfs append comme 0.20.205.0.

Source

2012-02-01 23:09:32

Merci Steve. Puis-je faire des randows écrit dans le fichier hdfs en utilisant hbase ou est-il seulement ajouté? –

Vous pouvez modifier les enregistrements dans hbase de manière aléatoire. –

Steve j'ai construit une table Hbase sur un fichier HDFS. Lorsque j'ai essayé de mettre à jour les enregistrements Hbase avec la commande "Put" simple, je ne suis pas capable de voir les changements dans HDFS? Ne devrait-il pas être mis à jour automatiquement? – Ragav

Mise à jour d'un fichier hadoop HDFS

Répondre

Questions connexes