Hadoop streaming longueur de ligne maximale

Question

Je travaille sur un flux de travail de flux Hadoop pour Amazon Elastic Map Reduce et il consiste à sérialiser certains objets binaires et à les diffuser dans Hadoop. Est-ce que Hadoop a une longueur de ligne maximale pour l'entrée en continu?

J'ai commencé à tester simplement avec des lignes de plus en plus grandes, mais j'ai pensé que je demanderais d'abord ici.

Answer 1

Il ne semble y avoir aucune limite imposée sur la longueur de ligne. Depuis que j'ai posé la question, j'ai écrit du code qui sérialise des objets binaires, les code en base64, puis les met dans un flux pour le traitement. En conséquence, certaines lignes sont assez longues. Hadoop mâche droit sans aucune plainte.