J'ai un tas de données dans une installation HDFS sur site. Je veux en transférer une partie sur Google Cloud (Cloud Storage) mais j'ai quelques inquiétudes:Comment puis-je transférer en toute sécurité mes données depuis HDFS sur site vers Google Cloud Storage?
Quelle est la meilleure façon de déplacer les données en toute sécurité de mon magasin de HDFS à Cloud Storage?
Pour déplacer des données d'un cluster Hadoop sur site vers Google Cloud Storage, vous devez probablement utiliser le Google Cloud Storage connector for Hadoop. Vous pouvez installer le connecteur dans n'importe quel cluster en suivant les instructions install directions. Pour rappel, les clusters Google Cloud Dataproc ont le connecteur installé par défaut. Une fois le connecteur installé, vous pouvez utiliser DistCp pour déplacer les données de votre système HDFS vers Cloud Storage. Cela permettra de transférer des données sur Internet (public) à moins que vous n'ayez une configuration de connexion spéciale avec Google Cloud. Pour ce faire, vous pouvez utiliser un squid proxy et configurer le connecteur Cloud Storage to use it.