opérateur ruche Dataproc fichier hql ne fonctionne pas stocké dans le seau de stockage

Question

Je suis en train d'exécuter hql fichier présent dans le stockage en nuage en utilisant un script de flux d'air, il y a deux paramètres par lesquels nous pouvons passer le chemin de DataprocHiveOperator:

1. Query : 'gs: //bucketpath/filename.q'

Error occuring - cannot recognize input near 'gs' ':' '/'

2. query_uri: 'gs: //bucketpath/filename.q'

Error occuring: PendingDeprecationWarning: Invalid arguments were passed to DataProcHiveOperator. Support for passing such arguments will be dropped in Airflow 2.0. Invalid arguments were: *args:() **kwargs: {'query_uri': 'gs://poonamp_pcloud/hive_file1.q'

utilisant des requêtes param, j'ai couru avec succès des requêtes de la ruche (select * from table)

Est-il possible d'exécuter hql fichier stocké dans le seau de stockage en nuage par dataprochiveoperator?

Answer 1

query_uri est en effet le paramètre correct pour exécuter un fichier hql à partir de Cloud Storage. Cependant, il a seulement été ajouté au DataProcHiveOperator dans https://github.com/apache/incubator-airflow/pull/2402. Basé sur le message d'avertissement que vous avez reçu, je ne pense pas que vous exécutez le code qui prend en charge le paramètre. La modification ne figure pas sur la dernière version (1.8.2), vous devrez donc attendre une autre version ou l'extraire de la branche principale.