2013-03-06 4 views
1

J'ai un fichier JSON qui a plusieurs enregistrements, qui ressemble à ceci ...Importation de gros fichiers JSON dans MongoDB

{"2597401":[{ 
"jobID":"2597401", 
"account":"TG-CCR120014", 
"user":"c", 
"pkgT":{"pgi/7.2-5":{"libA":["libpgc.so"],"flavor":["default"]}}, 
"startEpoch":"1338497979", 
"runTime":"1022", 
"execType":"user:binary", 
"exec":"/share/home/01482/c/appker/ranger/NPB3.3.1/NPB3.3-MPI/bin/ft.D.64", 
"numNodes":"4", 
"sha1":"5a79879235aa31b6a46e73b43879428e2a175db5", 
"execEpoch":1336766742, 
"execModify":"Fri May 11 15:05:42 2012", 
"startTime":"Thu May 31 15:59:39 2012", 
"numCores":"64", 
"sizeT":{"bss":"1881400168","text":"239574","data":"22504"}}, 

{"jobID":"2597401", 
"account":"TG-CCR120014", 
"user":"c", 
"pkgT":{"pgi/7.2-5":{"libA":["libpgc.so"],"flavor":["default"]}}, 
"startEpoch":"1338497946", 
"runTime":"33", 
"execType":"user:binary", 
"exec":"/share/home/01482/c/appker/ranger/NPB3.3.1/NPB3.3-MPI/bin/cg.C.64", 
"numNodes":"4", 
"sha1":"caf415e011e28b7e4e5b050fb61cbf71a62a9789", 
"execEpoch":1336766735, 
"execModify":"Fri May 11 15:05:35 2012", 
"startTime":"Thu May 31 15:59:06 2012", 
"numCores":"64", 
"sizeT":{"bss":"29630984","text":"225749","data":"20360"}}, 

{"jobID":"2597401", 
"account":"TG-CCR120014", 
"user":"c", 
"pkgT":{"pgi/7.2-5":{"libA":["libpgc.so"],"flavor":["default"]}}, 
"startEpoch":"1338500447", 
"runTime":"145", 
"execType":"user:binary", 
"exec":"/share/home/01482/appker/ranger/NPB3.3.1/NPB3.3-MPI/bin/mg.D.64", 
"numNodes":"4", 
"sha1":"173de32e1514ad097b1c051ec49c4eb240f2001f", 
"execEpoch":1336766756, 
"execModify":"Fri May 11 15:05:56 2012", 
"startTime":"Thu May 31 16:40:47 2012", 
"numCores":"64", 
"sizeT":{"bss":"456954120","text":"426186","data":"22184"}}, 

{"2597401":[{.... 

Chaque enregistrement est sur une seule ligne. Ainsi, le format général du fichier JSON est comme suit:

{"1111111: [{"jobID":value,"account":value,"user":value,"pkgT":{value:{"libA":[VALUES],"flavor":[value]}},"startEpoch":value,"runTime":value,"execType":value,"exec":value,"numNodes":value,"sha1":value,"execEpoch":value,"execModify":value,"startTime":value,"numCores":value,"sizeT":{"bss":value,"text":value,"data":value}} 

Je suis en train d'utiliser mongoimport pour importer dans une base de données en utilisant la commande suivante:

mongoimport --db dbName --collection collectionName fileName --jsonArray 

je lis que chaque enregistrement doit être sur sa propre ligne, ce qui est. Toutefois, lorsque j'importe le fichier, il l'importe en tant que document unique (enregistrement). Comment puis-je faire en sorte que mongo interprète ce fichier comme contenant plusieurs enregistrements au lieu d'un seul document énorme? Merci de votre aide!!!

Répondre

1

J'ai été en mesure de le réparer. J'avais des accolades entourant tout le texte du fichier. Lorsque je les ai supprimés, ils ont importé les enregistrements individuellement.