apache-crunch

0La chaleur

1Répondre

java.lang.UnsatisfiedLinkError lors de l'écriture avec crunch MemPipeline

J'utilise la version com.cloudera.crunch: '0.3.0-3-cdh-5.2.1'. J'ai un petit programme qui lit certains AVRO et filtre les données invalides en fonction de certains critères. J'utilise pipeline.write

0La chaleur

1Répondre

Comment Apache Crunch PTable collectValues fonctionne en interne

Je passais en revue quelques documentations liées à l'architecture HDFS et Apache crunch PTable. Sur la base de mes compréhensions, lorsque nous générons PTable, les données sont stockées en interne à

1La chaleur

1Répondre

Écriture de fichier de parquet dans Apache Crunch

Je suis nouveau dans apache crunch et à la recherche de lecture et d'écriture Lime à dossier en apache crunch. J'ai suivi la documentation et l'API mais je n'ai pas eu une approche/méthode directe pou

1La chaleur

1Répondre

Comment est-ce que je pourrais définir le DoFn dans Apache Crunch ayant le type de données "void"?

Fondamentalement, je ne ai pas besoin de sortie de DoFn, je veux juste mettre à jour un peu de mysql db pour chaque enregistrement que je reçois dans DoFn. Alors, comment pourrais-je définir DoFn ayan

0La chaleur

1Répondre

java.lang.NoClassDefFoundError: org/apache/Hadoop/HBase/MapReduce/MultiTableInputFormat

Tout test en cours pour le travail MapReduce sur un minicluster Hadoop, j'obtiens erreur: java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/MultiTableInputFormat at org.apache.crunch.i

1La chaleur

1Répondre

pipeline étincelle crunch lien avec l'application d'allumage en commençant par exemple SparkSession

pipeline Crunch peut avoir Java contexte d'allumage comme paramètre, mais si l'application d'allumage commence par exemple SparkSession (comme le programme d'allumage Java comprend datasets et nécessi

1La chaleur

2Répondre

Existe-t-il un moyen générique de convertir PCollection en PTable dans Apache Crunch?

J'ai cette méthode dans une classe util qui convertissent PCollection spécifique en spécifique PTable. public static PTable<IdDetails, CASegmentsForModification> getPTableForCASegments(PCollection<CAS

1La chaleur

1Répondre

Comment utiliser les compteurs dans Apache Crunch

Dans Apache Crunch, il existe une méthode nommée increment("any enum"). J'ai utilisé increment(TOTAL_IDS);, mais là où je peux voir le résultat des compteurs, les compteurs ne viennent pas dans les jo

0La chaleur

1Répondre

Enumérer les PTable en crise

J'ai PTables suivantes, PTable<String, String> somePTable1 = somePCollection1.parallelDo(new SomeClass(), Writables.tableOf(Writables.strings(), Writables.strings())); PTable<String, Collection

1La chaleur

2Répondre

Configuration du nombre de réducteurs pour un Dofn particulier dans Apache crunch

Je comprends qu'il existe des propriétés telles que CRUNCH_BYTES_PER_REDUCE_TASK ou mapred.reduce.tasks pour définir le nombre de réducteurs. Quelqu'un peut-il suggérer de configurer/remplacer les réd