Accéder aux tables MySQL avec plus de 10 millions de lignes = Erreur: trop de connexions

Question

Comment optimiser ces requêtes MySQL accédant à deux tables de plus de 10 millions de lignes chacune?

Ce que fait la requête ci-dessous, c'est qu'elle récupère tous les identifiants de la table 'users' qui n'existe pas dans la table 'guests'. Cela retournera plus de centaines de milliers de lignes, donc nous limitons cela à au moins 5000 ID par exécution. Y a-t-il une meilleure façon d'exécuter ceci afin que nous puissions en faire plus par course. Après avoir identifié les ID qui n'existent pas dans la table des invités, nous devons supprimer ces lignes dans la table des utilisateurs. Cela signifie donc qu'il exécutera 5000 autres requêtes de suppression pour supprimer tous ces ID. Si nous exécutons ce processus avec deux tables contenant plus de 10 millions de lignes de données, notre serveur renvoie une erreur indiquant qu'il a trop de connexions et que le serveur MySQL n'est plus accessible tant que vous ne le redémarrez pas. Mais si nous exécutons le même processus avec les deux tables contenant plus de quelques milliers de lignes, il ne rencontre pas ce problème, mais cela prend encore un certain temps. Pourquoi cela se produit-il et comment pouvons-nous éviter cela tout en optimisant ce processus?

Answer 1

2 choses - vérifiez comment votre logiciel gère les connexions MySQL. On dirait qu'il ouvre une connexion persistante, puis ne la réutilise pas, et il y a une nouvelle connexion avant chaque requête. Deuxièmement, vous pouvez modifier votre requête en une seule instruction, au lieu d'exécuter une requête distincte pour chaque utilisateur. De cette façon, une seule connexion est nécessaire, et tout le traitement sera du côté MySQL, ce qui permettra de l'optimiser davantage. Editer: Une autre chose que vous pouvez vérifier est d'exécuter EXPLAIN sur votre requête pour vous assurer que vous avez tout l'index approprié (si la partie sélectionnée est lente maintenant).

Answer 2

Avertissement: Testez cette requête avant d'exécuter des données en direct. Je ne prétends pas être tenu responsable des données perdues

DELETE 
    u 
FROM 
    users AS u 
LEFT JOIN 
    guests AS g 
ON g.id = u.id 
WHERE 
    g.id IS NULL 
    AND (users.in >= '$before' AND users.in <= '$now') 

Quant au cœur de votre question (trop de connexions) Je soupçonnez que votre script PHP commence de nouvelles connexions en boucle pour jamais ID qui doit être supprimé.