Erreur inattendue lors du chargement des données

Question

Je reçois une erreur "inattendue". J'ai essayé plusieurs fois, et je ne pouvais toujours pas charger les données. Existe-t-il un autre moyen de charger les données?

gs://log_data/r_mini_raw_20120510.txt.gzto567402616005:myv.may10c 
Errors: 
Unexpected. Please try again. 
Job ID: job_4bde60f1c13743ddabd3be2de9d6b511 
Start Time: 1:48pm, 12 May 2012 
End Time: 1:51pm, 12 May 2012 
Destination Table: 567402616005:myvserv.may10c 
Source URI: gs://log_data/r_mini_raw_20120510.txt.gz 
Delimiter:^
Max Bad Records: 30000 
Schema: 
zoneid: STRING 
creativeid: STRING 
ip: STRING 

mise à jour:

J'utilise le fichier qui se trouve ici:

http://saraswaticlasses.net/bad.csv.zip

bq load -F '^' --max_bad_record=30000 mycompany.abc bad.csv id:STRING,ceid:STRING,ip:STRING,cb:STRING,country:STRING,telco_name:STRING,date_time:STRING,secondary:STRING,mn:STRING,sf:STRING,uuid:STRING,ua:STRING,brand:STRING,model:STRING,os:STRING,osversion:STRING,sh:STRING,sw:STRING,proxy:STRING,ah:STRING,callback:STRING 

Je reçois une erreur « erreur BigQuery en opération de chargement: Inattendu, veuillez réessayer. "

---

Le même fichier fonctionne à partir d'Ubuntu alors qu'il ne fonctionne pas de CentOS 5.4 (Final) Est-ce que l'encodage OS nécessaire à vérifier?

Answer 1

Le fichier que vous avez importé contient un devis non clôturé. Pouvez-vous supprimer cette ligne et réessayer? J'ai déposé un bug de bigquery interne pour pouvoir gérer ce cas plus gracieusement.

$grep '"' bad.csv 
3000^0^1.202.218.8^2f1f1491^CN^others^2012-05-02 20:35:00^^^^^"Mozilla/5.0^generic web browser^^^^^^^^ 

Quand je lance une charge à partir de mon poste de travail (Ubuntu), je reçois un avertissement sur la ligne en question. Notez que si vous utilisiez un fichier plus volumineux, vous ne verriez pas cet avertissement, mais vous obtiendriez simplement un échec.

$bq show --format=prettyjson -j job_e1d8636e225a4d5f81becf84019e7484 
... 
"status": { 
    "errors": [ 
    { 
    "location": "Line:29057/Field:12", 
    "message": "Missing close double quote (\") character: field starts with: <Mozilla/>", 
    "reason": "invalid" 
    } 
] 

Answer 2

Mon soupçon est que vous avez des lignes ou des champs dans vos données d'entrée qui dépassent la limite de 64 Ko. Peut-être revérifiez le formatage de vos données, vérifiez qu'il est gzippé correctement, et si tout le reste échoue, essayez d'importer des données non compressées. (Une possibilité est que le fichier compressé entier soit interprété comme une seule ligne/champ qui dépasse la limite mentionnée ci-dessus.)

Pour répondre à votre question initiale, il existe d'autres moyens d'importer des données: vous pouvez télécharger directement depuis votre machine locale à l'aide de l'outil de ligne de commande ou de l'interface Web, ou vous pouvez utiliser l'API brute. Cependant, tous ces mécanismes (y compris l'importation de Google Storage que vous avez utilisée) passent par le même analyseur CSV, il est donc possible qu'ils échouent tous de la même manière.