Accélérer l'insertion mdb

Question

Existe-t-il un moyen d'accélérer les insertions vers un mdb?

using (StreamReader sr = new StreamReader(_localDir + "\\" + _filename)) 
    while ((line = sr.ReadLine()) != null) 
{ 
    //sanitize the data 
} 

Cela prend environ 20sec pour ~ 2mil enregistrements d'une csv mais quand j'ajoute dans l'insert mdb Je peux à peine obtenir 10.000 enregistrements 10min, afin que vous puissiez voir que ça va prendre une éternité

using (StreamReader sr = new StreamReader(_localDir + "\\" + _filename)) 
while ((line = sr.ReadLine()) != null) 
{ 
//sanitize the data 
using (OleDbConnection con = new OleDbConnection(_conStr)) 
using (OleDbCommand cmd = new OleDbCommand()) 
cmd.Parameters.AddWithValue...//I have 22 params 
cmd.ExecuteNonQuery(); 

} 

Y a-t-il un meilleur moyen? Le pool de connexion? enfiler? Voici mes constr provider = Microsoft.Jet.OLEDB.4.0; Data Source = monchemin, Jet OLEDB: Moteur type = 5"

Cordialement

_Eric

Answer 1

Est-il possible pour vous d'utiliser une requête qui s'insère directement à partir de csv? Par exemple:

SELECT ID,Field1 INTO NewTable 
FROM [Text;HDR=YES;FMT=Delimited;IMEX=2;DATABASE=C:\Docs\].Some.CSV 

Vous pouvez utiliser quelque chose de similaire avec délimiteurs non standard, mais vous aurez besoin d'un fichier Schema.ini dans le même répertoire que le fichier à importer. Il ne doit contenir:

[tempImportfile.csv] 
TextDelimiter=' 

Vous devrez modifier la chaîne de connexion légèrement, cela semble fonctionner:

Text;HDR=YES;FMT=Delimited;DATABASE=C:\Docs\ 

Answer 2

vous auriez probablement réaliser des performances Créer une connexion/commande et l'exécuter N fois au lieu de créer N connexions/commandes

Answer 3

Un autre changement qui pourrait accélérer un peu plus est de préparer une fois la commande. et créer tous les paramètres.Puis dans la boucle, il suffit d'affecter le para mesurer les valeurs et les exécuter à chaque fois. Cela peut éviter l'analyse et la vérification sémantique de l'instruction à chaque itération et devrait améliorer le temps. Cependant, je ne pense pas que ce serait une amélioration significative. L'analyse syntaxique doit être une partie relativement faible du coût total, même si elle est analysée à chaque fois.

Answer 4

Microsoft Jet pour gérer Sql l'analyse syntaxique (INSERT/UPDATE) est lente en général. En d'autres termes, vous pouvez avoir le code le plus efficace possible, mais le point d'étranglement est Jet. Gardez à l'esprit, que dans votre envoi d'origine votre connexion (ouvrir un fichier, créer un verrou, rechercher un fichier, insérer une ligne, disposer le verrou, fermer le fichier, disposer de l'objet) pour chaque ligne. Vous devez vous connecter ONCE (en dehors du temps), lire les lignes, générer Sql (OleDbCommand), puis exécuter.

Answer 5

J'ai trouvé une très bonne solution ici: Writing large number of records (bulk insert) to Access in .NET/C# Au lieu d'utiliser OleDb, utilisez DAO.