Utilisation de l'ajout et de la dernière modification dans l'instruction d'importation sqoop

Question

Nous utilisons sqoop pour extraire des données de la base de données Oracle vers HDFS. Les gens utilisaient pour mettre à jour et ajouter de nouvelles lignes régulièrement à la table SQL. Je suis au courant de sqoop les importations incrémentales --append et --last modified options.

Ma question est de savoir si nous pouvons utiliser les deux options dans la même déclaration d'importation?

Par exemple,

sqoop --incremental import --lastmodified --append --check-column 'lastmodified' --check-column 'id' --lastvalue '2017-09-22-123456' --lastvalue 100 

Ou nous devons utiliser séparément? Ou toute autre meilleure approche?

Answer 1

J'ai trouvé moi-même la réponse.

lastmodified peut prendre en charge à la fois les mises à jour et les lignes nouvellement ajoutées en fonction de la dernière colonne modifiée. Pas besoin d'utiliser Append dans ce scénario.