insert extrêmement lent de Delphi à base de données MySQL à distance

Question

Avoir un problème majeur tirer les cheveux avec des inserts extrêmement lents de Delphi 2010 à un serveur distant 5,09 MySQL. Jusqu'à présent

, j'ai essayé:

• ADO à l'aide de MySQL pilote ODBC
• Zeoslib v7 Alpha
• MyDAC

Je l'ai utilisé batching et insertion directe avec ADO (en utilisant le tableau access), et avec Zeos, j'ai utilisé l'insertion SQL avec une requête, puis utilisé le mode Table direct et également mis en cache le mode Table en utilisant applyupdates et commit. Avec MyDAC je mode d'accès de table, puis insérez SQL directe et insert SQL dosé

Toutes les technologies que j'ai essayé, je mis en compression et en dehors sans différence discernable.

Jusqu'à présent, j'ai vu à peu près la même chose à travers le tableau 7.5 enregistrements par seconde !!! Maintenant, je suppose que le serveur distant est lent, mais MySQL Workbench est incroyablement rapide, et la boîte à outils Migration a géré la migration initiale très rapidement (pour être honnête, je ne me souviens pas à quelle vitesse - ce qui signifie type de ce qu'il était rapide)

Modifier 1

il me est plus rapide pour d'écrire le SQL dans un fichier, télécharger le fichier sur le serveur via FTP, puis l'importer directe sur la serveur distant - Je me demande s'ils limitent peut-être le trafic MySQL entrant, mais cela n'explique pas pourquoi le MySQL Workbench était si rapide!

Edit 2

, le code a été au niveau le plus élémentaire:

while not qMSSQL.EOF do 
begin 
    qMySQL.SQL.Clear; 
    qMySQL.SQL.Add('INSERT INTO tablename (fieldname1) VALUES (:fieldname1)'); 
    qMySQL.ParamByName('fieldname1').asString:=qMSSQL.FieldByName('fieldname1').asString; 
    qMySQL.ExecSQL; 
    qMSSQL.Next; 
end; 

J'ai ensuite essayé

qMySQL.CachedUpdates:=true; 
i:=0; 
while not qMSSQL.EOF do 
begin 
    qMySQL.SQL.Clear; 
    qMySQL.SQL.Add('INSERT INTO tablename (fieldname1) VALUES (:fieldname1)'); 
    qMySQL.ParamByName('fieldname1').asString:=qMSSQL.FieldByName('fieldname1').asString; 
    qMySQL.ExecSQL; 
    inc(i); 
    if i>100 then 
    begin 
    qMySQL.ApplyUpdates; 
    i:=0; 
    end; 
    qMSSQL.Next; 
end; 
qMySQL.ApplyUpdates; 

Maintenant, dans ce code avec CachedUpdates:=False (qui, évidemment, jamais vraiment écrit à la base de données) la vitesse était vif et rapide !! Pour être tout à fait honnête, je pense que c'est la connexion - je sentir c'est la connexion ... J'attends juste qu'ils reviennent à moi!

Merci pour votre aide!

Answer 1

Utilisez-vous des paramètres de requête? Le moyen le plus rapide d'insérer devrait être d'utiliser des requêtes simples et des paramètres (par exemple INSERT INTO table (field) VALUES (: field)), de préparer la requête puis d'assigner des paramètres et de les exécuter autant de fois que nécessaire. (ne pas utiliser toute la saveur de autocommit)

que dans la plupart des bases de données évite à chaque fois difficile parse la requête est exécutée, ce qui exige du temps. Les paramètres permettent d'analyser la requête une seule fois, puis de la ré-exécuter plusieurs fois si nécessaire.

Utilisez le serveur facilites pour vérifier ce qui se passe - beaucoup offrent un moyen de vérifier ce que les déclarations en cours d'exécution font.

Answer 2

Je ne suis pas sûr de Zeoslib, mais en utilisant ADO avec pilote ODBC, vous ne serez pas le meilleur moyen d'insérer les enregistrements, ici quelques étapes qui peuvent rendre votre insertion plus rapide:

1. utilisation MyDAC pour un accès direct, ils fonctionnent sans le lent ODBC> ADO> OLEDB> MySqlLib pour se connecter à Mysql.

2. Ouvrir la connexion au premier avant l'insertion.

3. si vous avez grande insertion tels que 1000 ou plus, essayez transaction d'utilisation et engager après 100 enregistrement ou plus dépendre du nombre de dossiers.

Point 3 peut rendre votre insertion plus rapide, même avec ZeosLib ou ADO.

Answer 3

Vous pouvez AnyDAC et tableau fonction DML. Il peut accélérer un SQL INSERT standard pour quelques fois.

Answer 4

Vous avez deux choses distinctes ici. Tout d'abord, votre programme Delphi crée des instructions Insert et les envoie au serveur de base de données, puis le serveur les gère. Vous devez examiner les deux extrémités pour trouver le goulot d'étranglement. Je ne suis pas familier avec les outils MySQL, mais je parie que vous pourriez trouver un profileur SQL pour cela assez facilement. Utilisez-le pour profiler vos inserts à partir de l'application Delphi et comparez-les aux insertions en cours d'exécution à partir de l'outil Workbench pour voir s'il existe une différence significative.

Dans le cas contraire, le ralentissement est dans votre application. Essayez de l'accrocher à Sampling Profiler ou à un autre outil de profil qui comprend Delphi, et il vous montrera où vous passez beaucoup de temps. Une fois que vous le savez, alors vous pouvez travailler sur l'attaque du problème, ou peut-être revenir ici pour poser une question plus spécifique. Mais jusqu'à ce que vous sachiez d'où vient le problème, toutes les réponses que vous obtiendrez ici seront des suppositions éclairées au mieux.

Answer 5

Désolé cette réponse vient longtemps après que vous ayez posé la question.

J'ai eu un problème similaire. BDS2006 à MySQL via ODBC à travers le réseau - a pris 25 minutes pour fonctionner - environ 25 insertions par seconde. J'utilisais une connexion TDatabase et attachait le TTable Tquery à celui-ci. Préparé les instructions SQL.

La principale amélioration est quand j'ai commencé à partir des transactions dans la boucle. Un exemple simple, Memebrships ont une période membre. Commencez une transaction avant l'insertion de l'adhésion et des membres, validez après. Le nombre d'appartenances était de 01585 et avant les transactions, il fallait 279,90 secondes pour traiter tous les enregistrements d'adhésion, mais après 6,71 secondes.

Presque trop bon à croire et travaille toujours à corriger le code pour les autres bits lents.

Peut-être que Mark vous avez résolu votre problème, mais il peut aider quelqu'un d'autre.