Hadoop context.write() taille de la mémoire tampon

Question

J'utilise context.write() avec des commandes pour écrire dans HBase à partir de Mapper. Selon ce mailing list, context.write() ne videra pas tout de suite et attend que le tampon soit plein avant d'être défini de manière asynchrone sur le serveur.

Comment définit-on la taille de la mémoire tampon de la sortie Mapper. L'intention est de réduire les appels RPC à la table HBase en ajustant la taille de la mémoire tampon.

Answer 1

HBase tampon côté client peut être configuré par le paramètre hbase.client.write.buffer

En plus d'augmenter le tampon côté client, vous pouvez également regarder ce reference pour optimiser les écritures à HBase.