problèmes de chargement des données dans Avoir InfoBright ICE

Question

Version ICE: Infobright-p1-3.5.2-win_32

Je suis en train de charger un fichier volumineux, mais continuer à courir dans des problèmes avec des erreurs telles que:

Mauvaise définition de données ou de colonnes. Ligne: 989, champ: 5.

Ceci est la ligne 989, champ 5:

« (450) 568-3 *** »

Note: Les 3 derniers caractères sont des nombres ainsi, mais ne voulait pas publier somebodys numéro de téléphone ici.

Il est vraiment pas différent à l'une des autres entrées dans ce domaine.

Le type de données de ce champ est VARCHAR (255) NOT NULL

Answer 1

En outre, si vous effectuez une mise à niveau vers la version actuelle 4.0.6, nous prenons maintenant en charge la vérification des erreurs de niveau de ligne pendant LOAD et la prise en charge d'un fichier de rejet.

Pour activer la fonctionnalité de fichier de rejet, vous devez spécifier BH_REJECT_FILE_PATH et l'un des paramètres associés (BH_ABORT_ON_COUNT ou BH_ABORT_ON_THRESHOLD). Par exemple, si vous souhaitez charger des données du fichier DATAFILE.csv dans la table T mais que 10 lignes de ce fichier risquent d'être mal formatées, exécutez les commandes suivantes:

set @BH_REJECT_FILE_PATH = '/ tmp/reject_file ';

définir @BH_ABORT_ON_COUNT = 10;

charger les données infiler DATAFILE.csv dans la table T;

Si moins de 10 lignes sont rejetées, un avertissement sera généré, la charge va aboutir et toutes les lignes problématiques seront affichées dans le fichier/tmp/reject_file. Si l'Infobright Loader trouve une dixième mauvaise ligne, la charge se terminera par une erreur et toutes les mauvaises lignes trouvées jusqu'à présent seront affichées dans le fichier/tmp/reject_file.

Answer 2

J'ai rencontré ce problème lorsque la dernière ligne du fichier n'est pas terminée par la valeur de --lines-terminated-by = "\ n". Par exemple Si j'importe un fichier avec 9000 lignes de données, je dois m'assurer qu'il y a une nouvelle ligne à la fin du fichier. En fonction de la taille du fichier, vous pouvez simplement l'ouvrir avec un éditeur de texte et appuyer sur le retour. K

Answer 3

J'ai trouvé cela cohérent avec la différence '\ r \ n' vs '\ n'. Même en cours d'exécution sur le chargeur sous Windows, '\ n' réussit 100% des fois (en supposant que vous n'ayez pas de réel problème avec vos données par rapport à la définition col.)