2017-05-29 4 views
0

J'essaye d'importer un fichier csv dans HDFS en utilisant un canal. mais je reçois "la longueur de ligne dépasse 2048" cet avertissement et les lignes sont tronquées. Quelqu'un peut-il me suggérer s'il vous plaît comment résoudre ce problème.Importation de csv en utilisant Flume

suivant est ma source file--

a1.sources = s 
a1.channels = c 
a1.sinks = sk 

a1.sources.s.type = spooldir 
a1.sources.s.spoolDir = /home/itelligence/Desktop/Project 2 

a1.channels.c.type = file 

a1.sinks.sk.type = hdfs 
a1.sinks.sk.hdfs.path = /project 2 
a1.sinks.sk.hdfs.fileType = DataStream 

a1.sources.s.channels = c 
a1.sinks.sk.channel = c 

Nous vous remercions à l'avance

Répondre

0

Ajouter cette ligne à votre fichier source

a1.sources.s.deserializer.maxLineLength = <MAXIMUM_LINE_LENGTH>