2
Je fais du scrap web avec curl pour une page de profil linkedin. Si nous essayons d'extraire des données de cette URL (http://in.linkedin.com/in/ratneshdwivedi) qui est publique, cela fonctionne. Lorsque je suis connecté à linkedin et que j'essaie de collecter des données à partir de cette URL (http://www.linkedin.com/profile/view?id=77597832&locale=en_US&trk=tyah2&trkInfo=tas%3Aravi%20kant%20mishra%2Cidx%3A1-1-1), cela ne fonctionne pas et renvoie à la place des données vierges.Web scraping en PHP - travailler avec certaines URL mais échoue avec d'autres
Ce qui suit est mon code source:
$html= $this->_getScrapingData ('http://in.linkedin.com/in/ratneshdwivedi',10);
preg_match("/<span class=\"full-name\">(.*)<\/span>/i", $html, $match);
private function _getScrapingData($url,$timeout) {
$ch = curl_init($url); // initialize curl with given url
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER["HTTP_USER_AGENT"]); // set useragent
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // write the response to a variable
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // follow redirects if any
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout); // max. seconds to execute
curl_setopt($ch, CURLOPT_FAILONERROR, 1); // stop when it encounters an error
return @curl_exec($ch);
}
Merci à l'avance