aws datapipeline s3 à l'erreur mysql

Question

Je suis en train de charger autour de 40gb fichier (divisé sur 520 parties de 90 Mo chacun) situé sur S3 dans mysql. J'ai créé le pipeline de données aws S3 vers MySQL.

Avant le chargement, j'ai traité ces enregistrements dans Hive, puis stocké les fichiers de sortie sur S3. certains enregistrements dans le fichier contiennent \ N pour représenter la valeur NULL. Lorsque j'essaye de charger de telles données d'enregistrements, le pipeline échoue. Mais même peut être chargé avec SQOOP car il peut gérer les valeurs NULL lors du chargement dans MYSQL.

Quelqu'un at-il une idée si je peux charger de tels enregistrements dans MySQL à partir de S3 en utilisant un pipeline de données? Y at-il une propriété JDBC que je peux définir?

Answer 1

Oui, cela peut être fait très facilement en changeant la chaîne de connexion à la syntaxe ci-dessous. Vous devez définir jdbcCompliantTruncation sur false.

jdbcCompliantTruncation=false 

Votre chaîne de connexion ressemblera à quelque chose comme ci-dessous.

jdbc: mysql: // my-rds-point final: 3306/my_db_name jdbcCompliantTruncation = false