Puis-je empêcher CakePHP de récupérer toutes les lignes d'une requête?

Question

J'utilise CakePHP avec modelName- $> trouver (...) appelle à sélectionner un certain nombre de lignes (peut-être des centaines)

Normalement, en PHP/MySQL Bien sûr, ce ne serait pas une problème, comme vous les récupérez dans une boucle while. Mais, CakePHP charge toutes les lignes dans un tableau qui épuise la limite de mémoire .

Existe-t-il un moyen d'utiliser les constructions $ modelName-> find (...) mais de renvoyer un itérateur pour extraire chaque ligne à la demande?

Merci, David

Answer 1

Non, out of the box Cake PHP (et ActiveRecord en général) ne supporte pas l'itération sur un ensemble de résultats comme ça. Si vous avez un cas d'utilisation où vous avez besoin de les enregistrements d'une table, il est probablement préférable d'utiliser du SQL brut. (ou repenser votre cas d'utilisation).

Vous pouvez également (et vous avez probablement déjà pensé à) utiliser un décalage quelconque, et appeler -> trouver plusieurs fois. Si vous adoptez cette approche, n'oubliez pas de classer votre résultat dans un champ afin d'obtenir un résultat déterministe. Les bases de données ne semblent renvoyer les lignes triées que lorsque vous laissez un ORDER BY désactivé. Je n'ai pas personnellement essayé cela, et il semble inefficace du point de vue des requêtes multiples, mais c'est quelque chose qui vaut la peine d'être essayé.

Answer 2

Si vous utilisez une procédure stockée pour produire la requête, il pourrait être une bonne idée d'imiter le comportement de recherche de personnes pour obtenir des segments de la requête à la fois. Dans ce cas, vous devez envoyer deux paramètres supplémentaires à la procédure stockée pour l'index de ligne de début et la taille "page", et revenir ajuster l'instruction select pour récupérer uniquement les enregistrements entre row_index + 1 et row_index + page_size.

Tout cela peut être placé dans une couche supplémentaire de bouclage, de sorte que vous obtenez un nouveau segment, puis à l'intérieur de chaque ligne de ce segment.

Answer 3

Vous pourriez également obtenir autant de données en raison de vos relations de modèle. Pour votre appel someModel-> find(), combien d'autres modèles sont liés à someModel?

J'ai utilisé au moins 1000 lignes dans un tableau sur un serveur d'hébergement partagé typique sans problèmes de mémoire. MISE À JOUR: Vous pouvez simplement utiliser le comportement Contenable si vous ne souhaitez pas que les modèles associés soient renvoyés. Donc, si vous essayez de trouver tous les messages mais que vous ne voulez pas les commentaires, vous pouvez utiliser la syntaxe $ this-> Post-> contain() pour ne renvoyer que les enregistrements Post. Le Containable est un comportement qui doit être ajouté dans votre modèle en utilisant le paramètre $ actAs, $ actAs = array ('Containable');

Answer 4

Je comprends que vous êtes à la recherche d'un itérateur retourné à partir de la condition de recherche, mais que pensez-vous de l'utilisation de la clause LIMIT avec un décalage variable (par exemple le nombre de lignes que vous voulez)? Cela pourrait faire apparaître des problèmes de concurrence, mais si vous incluez également la clause id ORDER BY, vous devriez voir un comportement cohérent dans les lignes retournées. Ensuite, dans votre boucle, lancez simplement la requête find (...) à plusieurs reprises. Ceci n'est clairement pas une solution élégante comme le ferait un itérateur, mais j'imagine que le fait de répéter plusieurs fois une requête pour retourner plus de lignes équivaudrait à compenser les économies en récupérant plusieurs lignes à la fois. (dans le gâteau). Enfin, si vous recherchez vraiment la performance, alors je pense que CakePHP n'est peut-être pas votre sac de thé. Il s'améliore en vitesse avec les nouvelles versions, mais je crois qu'il est encore en retard par rapport aux autres frameworks en termes de performances.

Answer 5

Je suppose que cela n'est pas possible car CakePHP construit dynamiquement un tableau multidimensionnel représentant vos relations d'entité de base de données. Cela devrait être fait après avoir récupéré toutes les lignes de requête afin que CakePHP connaisse toutes les entités liées possibles.

Exemple:

trois lignes doit être récupérée afin de construire le tableau multidimensionnel correspondant:

 
Article 1 
    | 
    -- Comment 1 
    | 
    -- Comment 2 
    | 
    -- Comment 3 

résultat de la requête (1..n):

 
Article | Comment 
----------------- 
1  | 1 
----------------- 
1  | 2 
----------------- 
1  | 3 

Answer 6

Vous pouvez ajouter une limite à votre demande de recherche. Je n'ai pas le temps maintenant d'écrire une réponse complète. Je vais le mettre à jour plus tard.

Et non, d'après ce que je sais, quand vous faites une requête dans mysql ou avec le driver normal. Il retournera tous les éléments de votre sélection de toute façon. Donc, si vous avez un problème avec la mémoire limite, il se peut que ce soit ailleurs. Vous pouvez ajouter une limite à un certain nombre de lignes. Si votre table a plusieurs dépendances mais que vous n'avez pas besoin de charger chaque clé étrangère, vous pouvez utiliser l'attribut "contains" pour charger uniquement ce dont vous avez besoin.

Pourriez-vous nous décrire votre table? et ce que vous voulez sélectionner.

Answer 7

Si votre problème est causé par les relations de votre modèle, vous pouvez réduire la récursion cette façon:

modelname- $> récursive = -1;

alors vous obtiendrez seulement les données du modèle actuel, sans aucune relation.

Itération à travers tous les enregistrements, vous serez en mesure d'obtenir un par un leurs relations d'interrogation à nouveau avec récursif> 0

Answer 8

Vous pouvez limiter l'appel de méthode de recherche avec le param récursif (API for Model#find) ou Vous pouvez dissocier les associations de modèles à la volée et réduire la quantité de données récupérées (Creating and Destroying Associations on the Fly)

Answer 9

Ruby Sur les rails, cette fonction est meilleure. Le comportement par défaut est de ne pas inclure d'autres tables à moins que vous n'utilisiez: include =>: nom_table, puis il générera des jointures à la volée.

Il n'y a aucune raison de ne pas pouvoir faire cela, il ne le fait pas .

Answer 10

Voici le code que vous pouvez utiliser pour traiter une table quelques lignes à la fois

$limit = 10; 
    $loop_no = 0; 
    do { 
     $handles = $this->SocialChannelHandle->find('all', array(
      'fields' => array('brand_id', 'handle'), 
      'conditions' => array('social_channel_id' => $facebook['SocialChannel']['id']), 
      'limit' => $limit, 
      'offset' => $limit * $loop_no, 
      'order' => 'id asc', 
      'recursive' => -1) 
     ); 
     $loop_no++; 
    } while (count($handles) == $limit);