Logs Tcpdumps sont des fichiers binaires, je veux savoir quel FileInputFormat de hadoop je devrais utiliser pour split morceaux les données d'entrée ... s'il vous plaît aidez-moi !!Comment puis-je utiliser les journaux d'entrée .PCAP (Binary) avec Map Rreduce Hadoop
Il y avait un fil sur la liste des utilisateurs à ce sujet: http://hadoop.markmail.org/search/list:org%2Eapache%2Ehadoop%2Ecore-user+pcap+order:date-forward
Fondamentalement, le format n'est pas divisible que vous ne pouvez pas trouver un début d'un enregistrement à partir d'un décalage arbitraire dans le fichier. Vous devez donc effectuer un pré-traitement, en insérant des points de synchronisation ou quelque chose de similaire. Peut-être convertir des fichiers plus petits en séquences, puis fusionner les petits fichiers de séquence?
Si vous finissez par écrire quelque chose de réutilisable, pensez à contribuer au projet.
Écrivez un format d'entrée qui lit les fichiers PCAP, renvoyant quelque chose comme LongWritable pour la clé (le nième paquet dans le fichier) et PacketWritable comme valeur (contenant les données PCAP). Pour l'InputSplit, vous pouvez utiliser FileSplit, ou MultiFileSplit pour de meilleures performances, car un fichier PCAP individuel peut être lu de manière surprenante rapidement.
À moins que votre blocksize est plus grande que la taille de vos fichiers PPCE, vous ferez l'expérience beaucoup de réseau IO ...
Nous avons publié une bibliothèque pour le format PPCE fichiers récemment: https://github.com/RIPE-NCC/hadoop-pcap
'belongs- on-tdwtf'? – voyager
Hmm, nom d'utilisateur est Stalyn et veut savoir sur le traitement des décharges géantes pcap (capture de paquets) –