Pandas sur OpenShift v3

Question

Maintenant que OpenShift Online V2 a annoncé sa fin de service, je cherche à migrer mon application Python vers OpenShift Online V3, alias OpenShift NextGen. Pandas est une exigence (et énuméré dans requirements.txt)

Il a déjà été non-trivial à get pandas installed in v2 mais V3 ne permet pas l'interaction manuelle dans le processus de construction (ou le fait?). Lorsque j'essaie de créer mon application, le processus de construction s'arrête au bout d'une heure. pip a téléchargé et installé le contenu du requirements.txt et exécute setup.py pour les packages sélectionnés. Le et du fichier journal est

Running setup.py install for numpy 
Running setup.py install for Bottleneck 
Running setup.py install for numexpr 
Running setup.py install for pandas 

Ensuite, le processus s'arrête sans aucun message d'erreur.

Est-ce que quelqu'un a une idée de la façon de construire des applications Python qui nécessitent des pandas sur OpenShift V3?

Answer 1

Ça va être l'une des deux choses. Soit la compilation des Pandas est un gros problème de mémoire, peut-être causé par le fait que le compilateur a frappé un cas pathologique. Ou, la taille de l'image générée à ce moment dépasse une limite interne et manque donc d'espace disque alloué.

Si c'était de la mémoire, vous auriez besoin d'augmenter la mémoire allouée au module de compilation. Par défaut dans Online c'est 512Mi.

Pour augmenter la limite, vous devez modifier le YAML/JSON pour la configuration de construction à partir de la console Web ou à partir de la ligne de commande à l'aide de oc edit.

Pour YAML, vous devez ajouter ce qui suit:

resources: 
    limits: 
     memory: 1Gi 

Ce champ donne le:

$ oc explain bc.spec.resources.limits FIELD: limits <object> 

DESCRIPTION: 
    Limits describes the maximum amount of compute resources allowed. More 
    info: http://kubernetes.io/docs/user-guide/compute-resources/ 

Le maximum est 1GI. Il semble qu'une augmentation de cette valeur permette à la construction de se terminer, alors que l'augmenter à 768Mi n'était pas suffisant. Sachez que cela élimine la mémoire du quota pour compute-resources-timebound lors de l'exécution et qu'il l'utilise tout au long de la construction, tout ce que vous pouvez faire en même temps peut être bloqué.

FWIW, la taille de l'image sur une construction locale, et non en ligne, seulement produit:

172.30.1.1:5000/mysite/osv3test    latest    f323d9b036f6  About an hour ago 910MB 

Ainsi, à moins que l'espace intermédiaire utilisé avant que les choses ont été nettoyés était un problème, ce n'est pas un problème. Donc l'augmentation de la mémoire utilisée pour la construction semble être la réponse.