2009-07-18 9 views
0

Dites par exemple que je voulais récupérer les résultats des 3 premières pages de Google. Donc, fondamentalement, je veux les 30 meilleurs résultats. Je peux aller chercher les 10 premiers sur la page 1, mais comment puis-je dire à Curl qu'une fois la première page terminée, cliquez sur la deuxième page et ainsi de suite?Comment naviguer dans les résultats de pagination avec PHP/Curl?

Répondre

4

Il suffit de regarder de plus près les URL:

Première page:

http://www.google.com/search?q=lmgtfy 

la page Deuxième:

http://www.google.com/search?q=lmgtfy&start=10 
+2

accessoires pour l'utilisation de l'acronyme. – seth

+1

parfait pour mon exemple! - mais disons que dans tout autre scénario, les liens de pagination étaient obscurs et que vous ne pouviez pas incrémenter la valeur, est-il possible de faire "cliquer" Curl sur une autre page? –

+2

Il n'y a pas de réponse générale à cela, le screencraping est toujours un travail personnalisé. Cependant, dans 99,99% des cas, il y a un paramètre d'URL qui est simplement augmenté pour chaque page. Google utilise '& start = xx', d'autres peuvent utiliser' & page = x', d'autres '/ offset: x /' ou autres joyeusetés. Il suffit d'analyser les différences entre les première, deuxième et troisième pages et vous comprendrez généralement assez rapidement. – deceze

Questions connexes