Différence de comportement dans un travail lors de l'exécution depuis la cuisine

Question

J'utilise Pentaho Data Integration 7.1 pour copier des fichiers locaux sur un cluster Hadoop 2.8.0. J'ai créé une connexion Hadoop Cluster sur Pentaho et j'utilise une étape Hadoop Copy Files. Je peux télécharger avec succès les fichiers quand j'exécute mon travail à partir de l'interface graphique (spoon.sh), je peux voir la ligne suivante dans le journal:

Hadoop Copy Files - Processing row source File/folder source : [file:///home/etl/Desktop/users_full_20170620.csv] ... destination file/folder : [hdfs://hadoop:***@spark-master.cu:9000/value_iq]... wildcard : [null]

Mais lorsque je tente d'exécuter la même transformation à l'aide de la kitchen.sh échoue, je suis l'erreur suivante:

Hadoop Copy Files - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : Folder file:///value_iq/bin/kettle/data-integration_7.1/hdfs:/hadoop:hadoop@spark-master.cu:9000/value_iq does not exist!

d'une certaine façon, il y a l'ajout du chemin où le kitchen.sh est situé en face de l'url HDFS, en supposant que les destinations locales est enviroment.

C'est une capture d'écran de mon Hadoop Copier étape Fichiers

un rapport JIRA de ce bug a été créé: http://jira.pentaho.com/browse/PDI-16443

Answer 1

It `s un problème avec la dépendance de l'interface utilisateur. Soumettre le cas jira s'il vous plaît sur http://jira.pentaho.com

Answer 2

Pour autant que je peux voir PDI attend un fichier qui n'existe pas. Créez-le! Pour déplacer une solution PDI de dev à prod, elle fait référence aux références de fichiers. Au lieu de coder en dur le nom du dossier, appuyez sur Ctrl-space et sélectionnez ${Internal.Job.Filename.Directory} qui sera remplacé à l'exécution par le nom du répertoire contenant votre travail/transfo et qui est différent sur votre machine dev et votre environnement prod.

Vous pouvez configurer manuellement ces noms avant chaque UN: une liste de paramètres et de variables est affichée, parmi lesquels vous pouvez modifier {Internal.Job.Filename.Directory pour cette exécution.

Vous pouvez aussi (je vous conseille de le faire au début du processus de développement) définir vos propres variables. Dans le menu supérieur, Edit the kettle.properties et ajoutez my-dir. Il apparaîtra sur le Ctrl-space et le run options. Le fichier kettle.properties est stocké dans un répertoire caché nommé .kettle, et est différent sur votre machine dev et votre serer prod.

Vous allez très bientôt comment définir et modifier ces variables dans le travail et transfos avec Get variables et Set variable afin d'automatiser la charge avec des boucles. Un exemple peut être trouvé dans le répertoire sample qui a été livré avec votre distribution PDI.