Déplacement de la requête mysql de la boucle

Question

j'ai le code suivant

function cron_day_counts() 
{ 
    $subids = get_subids(); 
    array_push($subids, ''); 
    $from = '2011-10-19'; 
    $to = '2011-10-20'; 
    $days = days_interval($from, $to); 
    $result_array = array(); 
    foreach ($subids as $subid) 
    { 
     for ($i = 0; $i < $days; $i++) 
     { 
      $date = date('Y-m-d', strtotime($from . '+ ' . $i . ' day')); 
      $date_prev = date('Y-m-d', strtotime($date . '- 1 day')); 

      $unique_id_query = mysql_query('SELECT (SELECT COUNT(DISTINCT `id`,`subid`) FROM `tb_stats` WHERE `date` <= \'' . $date . '\'' . (!empty($subid) && is_numeric($subid) ? ' AND `subid` = \'' . mysql_real_escape_string($subid) . '\'' : '') . ') - (SELECT COUNT(DISTINCT `id`,`subid`) FROM `tb_stats` WHERE `date` <= \'' . mysql_real_escape_string($date_prev) . '\'' . (!empty($subid) && is_numeric($subid) ? ' AND `subid` = \'' . mysql_real_escape_string($subid) . '\'' : '') . ') AS `unique_ids`'); 
      $unique_id_result = mysql_fetch_assoc($unique_id_query); 

      $total_id_query = mysql_query('SELECT COUNT(DISTINCT `id`,`subid`) AS `total_ids` FROM `tb_stats` WHERE `date` = \'' . mysql_real_escape_string($date) . '\'' . (!empty($subid) && is_numeric($subid) ? ' AND `subid` = \'' . mysql_real_escape_string($subid) . '\'' : '')); 
      $total_id_result = mysql_fetch_assoc($total_id_query); 

      $unique_ip_query = mysql_query('SELECT (SELECT COUNT(DISTINCT `ip`,`subid`) FROM `tb_stats` WHERE `date` <= \'' . $date . '\'' . (!empty($subid) && is_numeric($subid) ? ' AND `subid` = \'' . mysql_real_escape_string($subid) . '\'' : '') . ') - (SELECT COUNT(DISTINCT `ip`,`subid`) FROM `tb_stats` WHERE `date` <= \'' . mysql_real_escape_string($date_prev) . '\'' . (!empty($subid) && is_numeric($subid) ? ' AND `subid` = \'' . mysql_real_escape_string($subid) . '\'' : '') . ') AS `unique_ips`'); 
      $unique_ip_result = mysql_fetch_assoc($unique_ip_query); 

      $total_ip_query = mysql_query('SELECT COUNT(DISTINCT `ip`,`subid`) AS `total_ips` FROM `tb_stats` WHERE `date` = \'' . mysql_real_escape_string($date) . '\'' . (!empty($subid) && is_numeric($subid) ? ' AND `subid` = \'' . mysql_real_escape_string($subid) . '\'' : '')); 
      $total_ip_result = mysql_fetch_assoc($total_ip_query); 

      $global_query = mysql_query('SELECT COUNT(`id`) AS `global` FROM `tb_stats` WHERE `date` = \'' . mysql_real_escape_string($date) . '\'' . (!empty($subid) && is_numeric($subid) ? ' AND `subid` = \'' . mysql_real_escape_string($subid) . '\'' : '')); 
      $global_result = mysql_fetch_assoc($global_query); 

      $result = array(); 
      $result['subid'] = $subid; 
      $result['date'] = $date; 
      $result['unique_ids'] = $unique_id_result['unique_ids']; 
      $result['total_ids'] = $total_id_result['total_ids']; 
      $result['unique_ips'] = $unique_ip_result['unique_ips']; 
      $result['total_ips'] = $total_ip_result['total_ips']; 
      $result['global'] = $global_result['global']; 

      $result_array[] = $result; 
     } 

    } 
    //db insert 
    return $result_array; 
} 

Je veux déplacer toute la requête de la foreach et pour les boucles, je crois que cela fonctionnerait plus vite. Je suis coincé o, n'ayant aucune idée de comment faire cela. Toute aide serait appréciée.

Answer 1

Je dirais à tout le moins, vous devez combiner les requêtes en la boucle à seulement un pour chaque jour. Donc, pour une période de 5 jours, vous auriez 5 questions.

Vous pouvez également avoir une seule requête pour toute la plage de dates et la déplacer en dehors de la boucle (comme décrit par ajreal). Ensuite, utilisez PHP pour trier tout cela.

Pour les grandes bases de données, je préférerais fractionner un peu les requêtes pour équilibrer la charge et le risque de dépassement de délai. Aide également à maintenir le code maintenable.

Vous devriez également regarder comment votre base de données est structurée et indexée.

Est-ce que c'est lent?

et la fonction array_push est-elle nécessaire? (Ce n'est pas que cela permettrait d'économiser beaucoup, je me demandais juste parce qu'il semble redondant)

Si c'est vraiment lent alors peut-être penser à la restructuration du processus complètement en fonction de la façon dont vous l'utilisez.

Vous pouvez, par exemple, à 00h01 chaque jour faire quelque chose comme ceci:

• requête les jours log et compter le IP unique/total/ID s'élève
• suffit d'insérer les numéros de compte et date à une table séparée
• archive les jours Connectez-vous à une table d'archive séparée ou même un db séparé comme mongoDB

de cette façon, vous pouvez effectuer querys simples pour afficher la données et manipuler les nombres à votre contenu de coeur avec de bonnes performances. Et par l'archivage, vous gardez la table de requête petite en supprimant les lignes inutiles mais en conservant un journal si nécessaire plus tard.

Bien sûr, cela peut ne pas correspondre à la configuration de votre db.

Answer 2

Prenez tous vos subids, et faites une extraction avec un prédicat IN pour obtenir toutes les valeurs à la fois. Remplissez cela dans un tableau, puis bouclez le tableau. Utilisez l'extension PDO :: MySQL à la place des extensions MySQL ou MySQLi.

Answer 3

De cette façon, vous pouvez préparer les requêtes qui vont accélérer considérablement le temps d'exécution des appels mysql.

Answer 4

obtenir tous les subid

pour chaque table,
construire une seule requête pour filtrer entre la date la plus petite et la plus grande date
et le groupe à la date

select subid, `date`, count(*) ... 
where subid IN($subids) and `date` between $smallest and $largest 
group by subid, `date` 

itérer le résultat , et stocké le résultat dans le tableau, avec subid, date comme clé

$mysql_results = array[$subid][$date] ... 

enfin, itérer les SubIDs de $ et la date, comme

foreach ($subids as $subid) 
{ 
    for ($i = 0; $i < $days; $i++) 
    { 
    // set $date 

    // check $mysql_results[$subid][$date] exists 
    } 
} 

avec quelque chose comme ci-dessus, vous ne devez 5 requêtes au lieu de

5 x total days x size of the subids