Limitation des ressources Hue avec des pools statiques cgroup

J'ai compris que vous pouviez limiter les services Hadoop via des groupes de contrôle de groupe dans les pools de services statiques. Je voudrais limiter le service Hue, car parfois, il dévore toute la mémoire que nous avons sur le nœud Edge et nuit à nos processus de chargement.
Cependant, je n'ai pas pu trouver Hue dans la configuration du pool de service statique - cela me donne seulement des options - HDFS, Impala, YARN, Hbase.
Est-ce que le réglage Hue peut être fait ici, ou je devrais le faire ailleurs?Limitation des ressources Hue avec des pools statiques cgroup

Merci.

Source

2017-09-07 k_mishap

Dans ce cas, vous pouvez essayer de définir la limite logicielle de mémoire de groupe dans la page de configuration de Cloudera Manager Hue, mais je ne pense pas que cela vous aidera beaucoup. C'est un problème connu dans Hue en raison de Python fragmentation de la mémoire. Il existe quelques opérations courantes dans Hue qui peuvent le déclencher, telles que télécharger un grand ensemble de résultats de requête (plus de 10M) ou utiliser le navigateur de fichiers HDFS pour parcourir un répertoire HDFS avec un grand nombre de fichiers (1000+). Demandez à vos utilisateurs de s'abstenir de faire ces opérations.

Si ce problème persiste, vous pouvez utiliser le script https://github.com/cloudera/hue/blob/master/tools/ops/hue_mem_cron.sh pour configurer un travail cron. Le script surveille l'utilisation de la mémoire du processus Hue et le supprime s'il en utilise trop. Vous devez configurer Cloudera Manager pour redémarrer Hue automatiquement.

Bien sûr, tuer la teinte n'est pas une solution idéale. Ce que vous pouvez faire est de configurer Hue HA avec un équilibreur de charge devant plusieurs instances Hue pour résoudre le problème. Vous pouvez suivre la documentation https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_hag_hue_config.html pour le configurer

Source

2017-09-08 15:02:34 Lan

Génial, merci pour les charges d'information. Je parle souvent avec mes utilisateurs de ces problèmes (téléchargement, navigation), mais il y a toujours quelqu'un qui forge. Je vais configurer le cron comme une solution temporaire et proposer le HA comme une approche correcte. –

Vous pouvez activer les options de mémoire de groupe c (Limite de mémoire de groupe Cgroup, Limite de mémoire fixe Cgroup) comme vous le souhaitez.

Source

2017-09-07 12:28:38 jedijs

Limitation des ressources Hue avec des pools statiques cgroup

Répondre

Questions connexes