Répliquer MySQL pour Hadoop

Question

Je suis à la recherche d'une open source pour répliquer MySQL à Hadoop, je l'ai trouvé deux options, mais

• Sqoop, Flume: pas en charge Mise à jour en temps réel, DELETE
• Tungstène: Source fermée et prix

alors quels autres outils pour répondre à cette exigence?

Answer 1

Avec le meilleur de ma connaissance Kafka peut être utile pour votre cas.

Kafka-mysql-connector est un plugin qui vous permet de reproduire facilement des changements MySQL à Apache Kafka et de Kafka, vous pouvez charger à HDFS ou HIVE

• Pour MySQL-> Solution Kafka basée sur Kafka Connect , découvrez l'excellent projet Debezium.

http://debezium.io/

• Pour MySQL-> solution Kafka qui est une application autonome, consultez l'excellent projet Maxwell, sur lequel ce connecteur a été fondé.

http://maxwells-daemon.io/

Hope this helps

(Note: Je ne l'ai pas utilisé cette solution, mais vous pouvez donner un essai)