Oui, tous les principaux moteurs de recherche prennent en charge les caractères génériques de base *, et votre solution fonctionnera pour interdire votre répertoire .
Le meilleur endroit pour en savoir plus sur robots.txt est vraiment le Google Developer page. Il fournit beaucoup d'exemples de ce qui fonctionne et de ce qui ne fonctionne pas. Par exemple, beaucoup de gens ne savent pas que les fichiers robots.txt sont spécifiques au protocole. Donc, si vous voulez bloquer les pages sur une connexion https, vous devez vous assurer que vous avez un robots.txt à https://yoursite.com/robots.txt
Vous pouvez également tester un nouveau fichier robots.txt avant de l'appliquer par Google Webmaster Tools. Fondamentalement, vous pouvez vérifier avec le moteur de recherche si oui ou non il fonctionnera réellement avant de le déployer. En ce qui concerne le blocage de quelque chose avec robots.txt ou simplement l'ajout d'un noindex aux pages, je suis plus enclin à utiliser le noindex dans la plupart des scénarios sauf si je sais que je ne veux pas que les moteurs de recherche explorent cette section. site du tout.
Il y a quelques compromis. Lorsque vous bloquez complètement le moteur de recherche, vous pouvez économiser sur votre «budget d'exploration». Ainsi, les moteurs de recherche vont explorer d'autres pages, puis "gaspiller" leur temps sur des pages que vous ne voulez pas qu'ils visitent. Toutefois, ces URL peuvent toujours apparaître dans les résultats de la recherche.
Si vous ne souhaitez absolument pas que le trafic de redirection soit associé à ces pages, il est préférable d'utiliser la directive noindex. De plus, si vous vous connectez souvent à la page des offres, un noindex non seulement le supprime des résultats de recherche, mais n'importe quelle valeur de lien/PageRank peut circuler à travers ces pages et peut être calculé en conséquence. Si vous les empêchez d'être crawlé, c'est en quelque sorte un trou noir.
La spécification robots.txt d'origine ne prend pas en charge les caractères génériques (comme le '*' dans votre exemple). Cependant, certains analyseurs les supportent (mais je suppose qu'ils diffèrent dans la mise en œuvre). – unor
Oww, dommage :(Ok donc je suppose que je vais devoir aller avec la balise meta, non? :) – Kulgar
Oui. Ou, si vous êtes uniquement intéressé par les principaux moteurs de recherche, vous pouvez consulter leur documentation et voir si/comment ils prennent en charge les caractères génériques dans le fichier robots.txt (par exemple, Google semble les prendre en charge).Vous pouvez mettre à jour votre question pour inclure les robots/moteurs de recherche qui vous intéressent. – unor