Comment obtenir des informations sur le site Web via PHP

Question

Comment obtenir des informations sur le site Web via PHP.

Ne pas utiliser

file_get_contents

est-il un autre moyen d'obtenir les informations du site.

exemple URL: http://www.quarkbase.com/google.com

Dans cette page, vous obtiendrez des informations sur toute la page GOOGLE. Comme ceci Si j'entre n'importe quelle URL d'un site je dois obtenir Plus d'informations concernant ce site.

J'espère que la requête est très claire.

Laissez-moi savoir si vous avez des doutes concernant la requête

Merci avancer n

Fero

Answer 1

regard sur les curl fonctions.

php.net a un basic example.

Answer 2

cURL ne résoudra pas son problème. Il peut peut-être l'aider à prendre une capture d'écran du site Web, mais leurs informations concernant l'URL proviennent d'une pléthore de sources. Traffic info provient d'Alexa, ils obtiennent des statistiques de réseautage social des sites Web pertinents, et toutes les informations sur la société exécutant le site Web qu'ils obtiennent soit d'une base de données distincte, ou ils ont des employés saisissant des informations sur les sites plus importants qu'ils indexent.

Il n'y a aucun moyen de discerner ce type d'information simplement en lisant la source de la page. Ils utilisent des tonnes d'algorithmes pour rechercher des patrons dans le contenu de la page, ils utilisent l'API d'Alexa pour obtenir ses données d'utilisation, ils utilisent les API des services de réseaux sociaux pour extraire les données de ces algorithmes, etc

Ce n'est certainement pas une tâche facile ...

Answer 3

Alors ... par informations sur le site Web, vous voulez dire les informations sur les bureaux d'enregistrement et les domaines? Comme par le biais dnsstuff.com ou d'autres informations méta sur une entreprise possédant ce domaine.

Le raclage automatisé de plusieurs de ces types de données peut être difficile. Non seulement vous avez besoin d'obtenir cette information de quelques endroits, mais beaucoup de ces endroits vous bloqueront s'ils trouvent que vous n'obéissez pas à leur fichier robots.txt.

Vous devez faire une liste plus précise des choses que vous voulez collecter. Google pour "outils DNS" et vous trouverez des choses comme http://dnsstuff.com qui vous mènera plus près d'obtenir cette information. Parfois, vous devez aller à des bureaux d'enregistrement comme networksolutins.com pour obtenir l'info aussi bien. Regardez aussi la commande unix whois et la commande unix dig.

Answer 4

Vous pouvez vérifier les fonctions f *() de C. Ported

Ils permettent la manipulation des cours d'eau plus fine.

Quelques bons conseils here.

$handle = fopen("http://www.quarkbase.com/google.com/", "r", false, $context); 
$text = ''; 
while (!feof($handle)) 
    $text .= fread($handle, 8192); 
fclose($handle);