J'ai quelques instructions sql (insérer, mettre à jour, supprimer, tronquer) à exécuter dans une transaction, toutes les 5 minutes. Je ne peux pas utiliser AWS Data Pipeline car l'intervalle de planification minimum est de 15 minutes pour le pipeline. Y a-t-il des outils open source que je peux utiliser? Puis-je utiliser Talend Open Studio pour y parvenir?Existe-t-il des outils de planification Open Source pour AWS Redshift?
Vous pouvez essayer de surmonter la limitation de l'intervalle de planification de 15 min en créant 3 pipelines et en les démarrant à 5 minutes d'intervalle.
Une autre solution consisterait à utiliser le pipeline OnDemand. Vous pouvez ensuite créer un événement CloudWatch (avec planification) pour déclencher la fonction lambda. À l'intérieur du lambda, vous pouvez démarrer l'exécution du pipeline.
Je ne suis pas sûr si il est possible d'effectuer insérer, mettre à jour, supprimer, tronquer sur les tables redshift avec pipeline, est-ce? –
Via un travail cron et un fichier SQL? – jbird