L'eau pétillante java souvent java.lang.ArrayIndexOutOfBoundsException: 65535

Question

H2O L'eau pétillante jette souvent en dessous de l'exception, nous la relançons manuellement chaque fois que cela se produit. Le problème est que l'étincelle ne se termine pas lorsque cette exception se produit, ils ne renvoient pas le statut de sortie et nous ne sommes pas en mesure d'automatiser ce processus.

App > Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 316 in stage 22.0 failed 4 times, most recent failure: Lost task 316.3 in stage 22.0 (TID 9470, ip-**-***-***-**.ec2.internal): java.lang.ArrayIndexOutOfBoundsException: 65535 
App > at water.DKV.get(DKV.java:202) 
App > at water.DKV.get(DKV.java:175) 
App > at water.Key.get(Key.java:83) 
App > at water.fvec.Frame.createNewChunks(Frame.java:896) 
App > at water.fvec.FrameUtils$class.createNewChunks(FrameUtils.scala:43) 
App > at water.fvec.FrameUtils$.createNewChunks(FrameUtils.scala:70) 
App > at org.apache.spark.h2o.backends.internal.InternalWriteConverterContext.createChunks(InternalWriteConverterContext.scala:28) 
App > at org.apache.spark.h2o.converters.SparkDataFrameConverter$class.org$apache$spark$h2o$converters$SparkDataFrameConverter$$perSQLPartition(SparkDataFrameConverter.scala:86) 
App > at org.apache.spark.h2o.converters.SparkDataFrameConverter$$anonfun$toH2OFrame$1$$anonfun$apply$2.apply(SparkDataFrameConverter.scala:67) 
App > at org.apache.spark.h2o.converters.SparkDataFrameConverter$$anonfun$toH2OFrame$1$$anonfun$apply$2.apply(SparkDataFrameConverter.scala:67) 
App > at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:70) 
App > at org.apache.spark.scheduler.Task.run(Task.scala:85) 
App > at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:274) 
App > at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
App > at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 

Answer 1

Cette question est à l'étude à la suite des questions du projet mousseux d'eau:

• https://github.com/h2oai/sparkling-water/issues/597
• https://github.com/h2oai/sparkling-water/issues/182

Il semble en quelque sorte lié à la taille des données. Cela se produit lorsque nous essayons de tirer une énorme trame de données spark vers une trame h2o. 63m enregistrements x 6300 colonnes. Bien que H2O/mousseux groupe d'eau de taille correctement: (il y a 40 exécuteurs x 17g de mémoire chacun, et chaque exécuteur Spark a 4 fils/coeurs) donc quantité totale de mémoire est 680Gb

Nous ne avons jamais cette erreur sur les petits ensembles de données.