Puis-je définir une limite de mémoire de tâche supérieure à 2 Go?

Question

La configuration Hadoop map-reduce fournit mapred.task.limit.maxvmem et mapred.task.default.maxvmem. Selon the documentation les deux sont des valeurs de type long qui est un nombre, en octets, qui représente la limite de tâche VMEM par défaut/supérieure associée à une tâche. Il semble que la signification de "long" dans ce contexte est 32bit et que les valeurs de réglage supérieures à 2GB peuvent conduire à l'utilisation de valeurs négatives comme limite. Je cours sur un système 64 bits et 2 Go est une limite inférieure à ce que je veux réellement imposer.

Y a-t-il un moyen de contourner cette limitation?

J'utilise la version Hadoop 0.20.1

Answer 1

La longue dans ce contexte fait référence à la quantité d'espace nécessaire pour stocker le réglage et non la quantité réelle de mémoire qui peut être pris en compte. Ainsi, vous pouvez utiliser une valeur minimale de -9 223 372 036 854 775 808 et une valeur maximale de 9 223 372 036 854 775 807 inclus. Mais, généralement, un long représente 64 bits de données de toute façon.