Apache NiFi - OutOfMemory Erreur: dépassement de la limite de surcharge GC sur le processeur SplitText

Question

J'essaie d'utiliser NiFi pour traiter de gros fichiers CSV (potentiellement des milliards d'enregistrements chacun) en utilisant HDF 1.2. J'ai implémenté mon flux, et tout fonctionne correctement pour les petits fichiers.

Le problème est que si j'essaie de pousser la taille du fichier à 100 Mo (dossiers 1M) Je reçois un java.lang.OutOfMemoryError: GC overhead limit exceeded du processeur splitText responsable de diviser le fichier dans les dossiers individuels. J'ai cherché cela, et cela signifie essentiellement que le garbage collector est exécuté pendant trop longtemps sans obtenir beaucoup d'espace de tas. Je suppose que cela signifie que trop de fichiers de flux sont générés trop rapidement.

Comment puis-je résoudre ce problème? J'ai essayé de changer la configuration de nifi concernant l'espace de tas maximum et d'autres propriétés liées à la mémoire, mais rien ne semble fonctionner.

En ce moment j'ai ajouté un intermédiaire SplitText avec un nombre de lignes de 1K et cela me permet d'éviter l'erreur, mais je ne vois pas cela comme une solution solide pour quand la taille du fichier entrant deviendra potentiellement beaucoup plus Je crains d'avoir le même comportement de la part du processeur.

Toute suggestion est la bienvenue! Merci

Answer 1

La raison de l'erreur est lors de la division des enregistrements 1M avec un nombre de lignes de 1, vous créez des fichiers de flux 1M qui égalisent les objets Java 1M. Dans l'ensemble, l'utilisation de deux processeurs SplitText est fréquente et évite de créer tous les objets en même temps. Vous pourriez probablement utiliser une taille de division encore plus grande sur le premier split, peut-être 10k. Pour un milliard d'enregistrements, je me demande si un troisième niveau aurait du sens, divisé de 1B à peut-être 10M, puis 10M à 10K, puis 10K à 1, mais je devrais jouer avec.

Certains éléments supplémentaires à prendre en compte sont l'augmentation de la taille de segment de mémoire par défaut de 512 Mo, ce que vous avez peut-être déjà fait, et la détermination si vous avez vraiment besoin de diviser à 1 ligne. Il est difficile de dire quoi que ce soit d'autre à propos du flux, mais dans de nombreux cas, si vous voulez livrer chaque ligne quelque part, vous pourriez avoir un processeur qui lit un grand fichier délimité et envoie chaque ligne vers la destination. Par exemple, c'est ainsi que fonctionnent PutKafka et PutSplunk, ils peuvent prendre un fichier avec des lignes 1M et diffuser chaque ligne vers la destination.